BERT (Bidirectional Encoder Representations from Transformers)

BERT ist ein wegweisendes Sprachmodell, das 2018 von Google vorgestellt wurde und die NLP-Welt revolutionierte. Im Gegensatz zu früheren Modellen, die Text nur von links nach rechts lasen, ist BERT 'bidirektional': Es betrachtet den gesamten Satz gleichzeitig und versteht so den Kontext eines Wortes aus beiden Richtungen (vorher und nachher). Dies machte es extrem leistungsfähig für Aufgaben wie Frage-Antwort-Systeme oder Google-Suchanfragen, ist aber weniger geeignet für Textgenerierung (dafür nutzt man GPT).