Batch Normalization

Batch Normalization (Batch Norm) ist eine Technik, die 2015 eingeführt wurde und das Training tiefer neuronaler Netze revolutioniert hat. Sie adressiert das Problem des 'Internal Covariate Shift', bei dem sich die Verteilung der Inputs einer Schicht ständig ändert, weil sich die Parameter der vorherigen Schichten während des Trainings ändern. Das macht das Training instabil und langsam, da man sehr vorsichtige (niedrige) Lernraten wählen muss.

Batch Norm löst dies, indem es die Aktivierungen jeder Schicht für jeden Mini-Batch normalisiert: Es subtrahiert den Mittelwert des Batches und teilt durch die Standardabweichung, sodass die Daten immer zentriert sind (Mittelwert ca. 0, Streuung ca. 1). Danach werden sie wieder so skaliert und verschoben, wie das Netz es für optimal hält. Dies führt zu drastisch schnellerer Konvergenz, erlaubt höhere Lernraten und macht das Netz weniger abhängig von der Initialisierung der Gewichte.