Exploding Gradient

Der Exploding Gradient ist ein Problem beim Training tiefer neuronaler Netze (besonders RNNs). Wenn die Gewichte oder Gradienten sehr groß sind, können sie sich bei der Rückwärtspropagation (Backpropagation) multiplizieren und exponentiell anwachsen ('explodieren'). Dies führt zu instabilem Training und Zahlenüberläufen (NaN). Techniken wie 'Gradient Clipping' verhindern das.