Fine-Tuning

Fine-Tuning (Feinabstimmung) ist der Prozess im Transfer Learning, bei dem ein bereits vortrainiertes Modell (Pre-trained Foundation Model) auf eine spezifische Aufgabe spezialisiert wird. Das Training eines großen Modells wie GPT-4 von Grund auf ('Pre-training') kostet Millionen Dollar und Monate an Zeit. Fine-Tuning ist dagegen vergleichsweise billig und schnell.

Man nimmt das 'schlaue' Basismodell, das bereits Sprache und Weltwissen versteht, und trainiert es mit einem kleineren, spezialisierten Datensatz weiter (z.B. medizinische Berichte oder juristische Texte). Das Modell passt seine Gewichte nur noch leicht an, um den Jargon und die spezifischen Anforderungen der neuen Domäne zu lernen. Dies ist der Standardweg, wie Unternehmen KI heute für ihre Zwecke adaptieren.