Early Stopping

Early Stopping ist eine pragmatische Technik zur Vermeidung von Overfitting beim Training iterativer Lernverfahren (wie neuronaler Netze). Normalerweise wird ein Modell über eine feste Anzahl von Epochen trainiert. Dabei sinkt der Fehler auf den Trainingsdaten kontinuierlich immer weiter. Der Fehler auf neuen, ungesehenen Daten (Validierungsfehler) sinkt jedoch nur bis zu einem gewissen Punkt, einem Optimum.

Trainiert man über diesen Punkt hinaus weiter, beginnt das Modell, die Trainingsdaten auswendig zu lernen: Der Trainingsfehler sinkt weiter, aber der Validierungsfehler steigt wieder an. Early Stopping überwacht den Validierungsfehler und bricht das Training automatisch ab, sobald dieser sich über mehrere Epochen nicht mehr verbessert oder verschlechtert. Man speichert dann den Zustand des Modells am tiefsten Punkt der Validierungskurve.