Dropout

Dropout ist eine ebenso einfache wie geniale Regularisierungstechnik, um Overfitting in neuronalen Netzen zu verhindern. Sie wurde von Geoffrey Hinton und seinem Team entwickelt. Die Idee: Während des Trainings werden in jedem Durchlauf zufällig bestimmte Neuronen (z.B. 50%) 'ausgeschaltet' (auf Null gesetzt), zusammen mit ihren Verbindungen.

Dies zwingt das Netzwerk dazu, nicht zu sehr auf einzelne, spezifische Neuronen zu vertrauen, da diese jederzeit ausfallen könnten. Stattdessen muss das Netz redundante, verteilte Repräsentationen lernen: Die Information 'Das ist eine Katze' darf nicht nur an einem Neuron hängen, sondern muss über viele Neuronen verteilt sein. Dies macht das finale Modell (bei dem Dropout wieder deaktiviert wird) deutlich robuster und verbessert die Generalisierung auf neue Daten.