Pruning

Pruning (Beschneiden/Stutzen) ist eine Technik zur Effizienzsteigerung und Komprimierung neuronaler Netze nach dem Training. Ein trainiertes Netz enthält oft Millionen von Parametern (Gewichten), die nahe Null sind oder kaum zur Entscheidung beitragen. Sie sind 'toter Ballast'.

Beim Pruning identifiziert und entfernt man diese überflüssigen Verbindungen oder ganzen Neuronen. Überraschenderweise kann man oft 80-90% eines Netzes entfernen, ohne dass die Genauigkeit signifikant leidet (Lottery Ticket Hypothesis). Das resultierende 'Sparse Model' ist viel kleiner, braucht weniger Speicher und läuft schneller auf mobilen Geräten.