Transformer

Der Transformer ist die einflussreichste KI-Architektur des letzten Jahrzehnts. Vorgestellt 2017 von Google-Forschern im Paper 'Attention is All You Need', hat er das Feld NLP revolutioniert und RNNs verdrängt. Das Geheimnis ist der 'Self-Attention'-Mechanismus.

Anders als RNNs, die Text Wort für Wort lesen müssen (langsam und vergesslich), kann der Transformer einen ganzen Satz oder Absatz auf einmal betrachten (parallel). Attention erlaubt ihm, Beziehungen zwischen jedem Wort und jedem anderen Wort im Text zu berechnen, egal wie weit sie auseinander stehen. Er versteht Kontext extrem gut. Dies ermöglichte das Training riesiger Modelle auf riesigen Datenmengen -> die Geburt der LLMs (GPT, BERT).