Distillation
Knowledge Distillation ist der Prozess, das Wissen eines großen 'Lehrer-Modells' (z.B. GPT-4) auf ein kleines 'Schüler-Modell' zu übertragen. Der Schüler lernt, die Ausgaben des Lehrers zu imitieren.
Knowledge Distillation ist der Prozess, das Wissen eines großen 'Lehrer-Modells' (z.B. GPT-4) auf ein kleines 'Schüler-Modell' zu übertragen. Der Schüler lernt, die Ausgaben des Lehrers zu imitieren.