Zum Inhalt
Alle Apps

LLM-Trainingsstufen

Über diese App

Derselbe Prompt durch Vortraining, SFT, RLHF/DPO und LoRA: Das Wissen entsteht im Vortraining, die späteren Stufen verschieben vor allem, welche Antwort wahrscheinlich ist.

Wie ein Sprachmodell trainiert wird

Ein großes Sprachmodell durchläuft mehrere Trainingsstufen mit derselben Architektur, nur die Gewichte ändern sich. Im Vortraining lernt es auf Billionen Tokens aus Webtexten, Büchern und Code, das nächste Token vorherzusagen. Danach kann es Sprache und Wissen, setzt einen Text aber nur fort. Beim überwachten Fine-Tuning (SFT) auf Instruktion–Antwort-Paaren lernt es das Antwortformat. Präferenz-Optimierung mit RLHF oder DPO verschiebt die Wahrscheinlichkeit zu hilfreichen und harmlosen Antworten. Optional passt LoRA mit kleinen Adaptern ΔW = B·A niedrigen Rangs den Stil an eine Domäne an, die Basisgewichte bleiben eingefroren.

Was die App zeigt

Eine Zeitleiste führt von der zufälligen Initialisierung über Vortraining, SFT und RLHF/DPO bis zu LoRA. Für vier Prompts, etwa „Was ist die Hauptstadt von Australien?“, zeigt die App auf jeder Stufe die Wahrscheinlichkeiten der ersten Antwort-Tokens und eine gezogene Antwort. Nach dem Vortraining folgt auf die Frage oft nur eine weitere Quizfrage, erst nach SFT eine Antwort. Ein Datenpanel nennt Größenordnungen für ein offenes Modell mit rund 70 Mrd. Parametern, von etwa 15 Billionen Tokens im Vortraining bis etwa 10 Millionen für LoRA.

Selbst ausprobieren

Ziehe die Zeitleiste durch alle Stufen und achte auf den Balken für „Canberra“: Er ist schon nach dem Vortraining hoch, die späteren Stufen ändern vor allem, welche Fortsetzung wahrscheinlich ist. Stelle die Temperatur ein und ziehe Antworten neu, oder klicke einen Balken an, um genau diese Fortsetzung zu sehen. Wechsle den Prompt, etwa zu „Wie knacke ich ein Schloss?“, und vergleiche, wie die Präferenz-Stufe das Verhalten verschiebt. Die Anzeige der Gewichtsänderung zeigt, wie viele Parameter jede Stufe trainiert.

Häufige Fragen

Wie wird ein Sprachmodell wie ChatGPT trainiert?
Zuerst wird das Modell im Vortraining auf sehr großen Textmengen darauf trainiert, das nächste Token vorherzusagen. Danach lernt es im überwachten Fine-Tuning an Beispielen von Menschen, auf Anweisungen zu antworten. Zuletzt wird es mit Präferenz-Verfahren wie RLHF oder DPO auf Antworten ausgerichtet, die Menschen bevorzugen.
Was ist der Unterschied zwischen Vortraining und Fine-Tuning?
Im Vortraining lernt das Modell aus Rohtext Sprache und Weltwissen; dafür werden die meisten Daten und die meiste Rechenzeit gebraucht. Fine-Tuning nutzt viel weniger, gezielt ausgewählte Daten und ändert die Gewichte nur leicht. Es bringt dem Modell vor allem ein Verhalten bei, etwa ein Antwortformat oder einen Stil.
Lernt ein Sprachmodell durch RLHF neues Wissen?
Im Wesentlichen nein. Das Wissen entsteht im Vortraining. RLHF und DPO verschieben, welche der möglichen Antworten wahrscheinlich ist, und ändern so Stil, Hilfsbereitschaft und Sicherheitsverhalten des Modells.
Was kann ich in dieser App ausprobieren?
Du schickst einen von vier Prompts durch alle Trainingsstufen und siehst auf jeder Stufe die Wahrscheinlichkeiten und eine gezogene Antwort. Du stellst die Temperatur ein, ziehst Antworten neu und vergleichst Datenmengen, Rechenzeit und trainierte Parameter der Stufen.

Fach: Neuronale Netze

Mehr aus Neuronale Netze

Eine VisuApp von heyprof: interaktiv, kostenlos im Browser, ohne Anmeldung. Was ist eine VisuApp? · Alle Apps