Autoregressive Models

Autoregressive Modelle sind die dominierende Architektur für generative Sprachmodelle (wie GPT). Sie basieren auf der Wahrscheinlichkeitstheorie und generieren Daten sequenziell, indem sie die Wahrscheinlichkeitsverteilung des nächsten Elements (z.B. Wortes) basierend auf allen vorherigen Elementen vorhersagen. Dies macht sie extrem gut im Schreiben flüssiger Texte, aber herausfordernd in der parallelen Erzeugung.