Overfitting

Overfitting (Überanpassung) ist der Kardinalfehler im maschinellen Lernen. Er tritt auf, wenn ein Modell zu komplex für die verfügbare Datenmenge ist und beginnt, die Trainingsdaten 'auswendig zu lernen', anstatt die zugrundeliegende Gesetzmäßigkeit zu verstehen. Das Modell passt sich perfekt an jedes Rauschen und jeden Ausreißer im Trainingsset an (hohe Accuracy im Training), scheitert aber kläglich, sobald es neue Daten sieht (schlechte Generalisierung).

Es ist wie ein Schüler, der die Lösungen der Altklausuren auswendig lernt, aber das Fach nicht versteht. Gegenmaßnahmen sind: Mehr Daten sammeln, Data Augmentation, einfachere Modelle verwenden oder Regularisierungstechniken wie Dropout und Weight Decay.