Backpropagation

Backpropagation (Rückpropagierung des Fehlers) ist der fundamentale mathematische Algorithmus, der das effiziente Training von tiefen neuronalen Netzen überhaupt erst möglich macht. Er ist die Methode, mit der das Netzwerk aus seinen Fehlern lernt. Der Prozess beginnt mit einem 'Forward Pass', bei dem Daten durch das Netz geschickt werden und eine Vorhersage getroffen wird. Diese Vorhersage wird mit dem tatsächlichen Ergebnis verglichen, und die Differenz (der Fehler oder Loss) wird berechnet.

Im anschließenden Backward Pass wird dieser Fehler dann Schicht für Schicht rückwärts durch das Netzwerk geleitet. Dabei wird für jedes einzelne Neuron und jede Verbindung (Gewicht) berechnet, welchen Anteil es an dem Fehler hatte. Mathematisch geschieht dies durch die Anwendung der Kettenregel der Differentialrechnung, um den Gradienten (die Steigung) der Fehlerfunktion bezüglich jedes Gewichts zu bestimmen.

Mit diesen Informationen können die Gewichte dann minimal angepasst werden (meist mittels Gradient Descent), sodass der Fehler beim nächsten Mal etwas kleiner ist. Ohne Backpropagation gäbe es kein Deep Learning.