Attention Mechanism

Der Attention Mechanism (Aufmerksamkeitsmechanismus) ist der technologische Durchbruch, der moderne Sprachmodelle (Transformer) erst möglich gemacht hat. Er erlaubt es dem Modell, beim Verarbeiten eines Wortes dynamisch auf alle anderen Wörter im Satz zu 'blicken' und zu gewichten, wie relevant diese für das aktuelle Wort sind. So kann das Modell verstehen, dass sich 'er' in einem langen Satz auf 'den Mann' bezieht, unabhängig von der Distanz der Wörter zueinander.