AdaGrad

AdaGrad (Adaptive Gradient Algorithm) ist ein Optimierungsverfahren für das Training neuronaler Netze, das die Lernrate für jeden Parameter individuell anpasst. Es führt größere Updates für selten vorkommende Features und kleinere Updates für häufige Features durch. Dies macht es besonders effektiv für Arbeiten mit spärlichen Daten (Sparse Data), wie sie oft in der Sprachverarbeitung (NLP) vorkommen.