Pre-training

Pre-training ist die erste und aufwendigste Phase im Lebenszyklus eines großen KI-Modells (wie eines LLMs). Hierbei wird das Modell 'unüberwacht' (Self-Supervised) auf gigantischen Datenmengen (Bücher, Webseiten, Code) trainiert. Das Ziel ist nicht, eine spezifische Aufgabe zu lösen, sondern ein allgemeines Verständnis von Sprache, Logik und Weltwissen zu entwickeln.

Das Modell lernt dabei durch simple Aufgaben wie 'Sage das nächste Wort vorher'. Das Ergebnis ist ein 'Base Model', das zwar viel weiß, aber oft noch nicht hilfreich oder sicher ist. Erst im zweiten Schritt, dem 'Fine-Tuning', wird das Modell für konkrete Anwendungen (z.B. als Chatbot) spezialisiert.