Attention Head

Ein Attention Head ist eine Komponente innerhalb des Multi-Head Attention Mechanismus in Transformer-Modellen. Jeder 'Kopf' kann sich auf unterschiedliche Aspekte der Eingabedaten konzentrieren. In einem Satz könnte ein Kopf auf die grammatikalische Struktur achten, ein anderer auf die Beziehung zwischen Pronomen und Namen, und ein dritter auf den emotionalen Kontext. Durch viele parallele Heads kann das Modell komplexe Nuancen der Sprache gleichzeitig erfassen.