Boosting

Boosting ist eine mächtige Technik im Ensemble Learning, die darauf abzielt, aus vielen 'schwachen' Modellen (Weak Learners) ein 'starkes' Modell zu bauen. Ein schwaches Modell ist eines, das nur knapp besser ist als pures Raten (z.B. eine Accuracy von 55%). Die Kernidee des Boosting ist es, diese Modelle sequenziell, also nacheinander, zu trainieren.

Jedes neue Modell im 'Ensemble' konzentriert sich dabei speziell auf die Fehler, die die vorherigen Modelle gemacht haben. Datenpunkte, die falsch klassifiziert wurden, erhalten ein höheres Gewicht, sodass das nächste Modell gezwungen ist, genau diese schwierigen Fälle zu lernen. Am Ende werden die Vorhersagen aller Modelle gewichtet kombiniert. Bekannte Algorithmen wie 'AdaBoost' oder 'XGBoost' basieren auf diesem Prinzip und gehören bei tabellarischen Daten (z.B. Wettbewerben auf Kaggle) oft zu den besten verfügbaren Methoden, oft sogar besser als Deep Learning.