Pretraining
Kurz erklärt
Die grundlegende Trainingsphase eines Modells auf einer größeren Datenbasis.
Einordnung
Dabei lernt es allgemeine Muster, die später durch weitere Trainingsschritte oder durch Kontext in Anwendungen ergänzt werden können.
Ein Sprachmodell lernt zunächst allgemeine Sprachmuster, bevor es auf bestimmte Aufgaben angepasst wird.