Transformer (GPT-2 live)
Über diese App
GPT-2 läuft im Browser — Token-Generierung, Wahrscheinlichkeiten und Architektur live erleben.
Wie ein Transformer Text erzeugt
Ein Sprachmodell wie GPT-2 erzeugt Text Token für Token. Der Text wird in Tokens zerlegt, jedes Token wird zu einem Vektor (Embedding) und durchläuft eine Folge gleich gebauter Transformer-Blöcke aus Attention und Feedforward-Netz. Am Ende steht eine Wahrscheinlichkeitsverteilung über das ganze Vokabular, bei GPT-2 rund 50.000 Tokens. Daraus wird das nächste Token gezogen, hinten angehängt, und der Durchlauf beginnt von vorn. Dieses Vorgehen heißt autoregressiv.
Was die App zeigt
Die App lädt GPT-2 in der kleinsten Variante mit 124 Millionen Parametern als ONNX-Modell und führt es vollständig im Browser aus; beim ersten Start werden rund 500 MB geladen und gecacht. Ein Balkendiagramm zeigt bei jedem Schritt die Top-k-Kandidaten mit ihren Wahrscheinlichkeiten, das gewählte Token und den Rest, der auf alle übrigen Tokens entfällt. Im Hintergrund leuchtet die Pipeline mit, von Tokenizer und Embedding über die 12 Blöcke bis zur Softmax.
Selbst ausprobieren
Gib einen englischen Prompt ein, denn GPT-2 wurde auf englischen Texten trainiert. Stelle die Temperatur zwischen 0,1 und 2,0 ein: niedrige Werte machen die Auswahl vorsichtig und wiederholend, hohe Werte mutiger und sprunghafter. Top-k zwischen 1 und 50 begrenzt die Auswahl auf die k wahrscheinlichsten Tokens; mit k = 1 nimmt das Modell immer den Spitzenreiter. Die Länge der Ausgabe wählst du zwischen 5 und 80 Tokens.
Häufige Fragen
- Was ist GPT-2?
- GPT-2 ist ein Sprachmodell von OpenAI aus dem Jahr 2019, das auf der Transformer-Architektur beruht. Es sagt zu einem Text jeweils das nächste Token voraus. Die kleinste Variante hat 124 Millionen Parameter und 12 Transformer-Blöcke.
- Was bewirkt die Temperatur bei Sprachmodellen?
- Die Temperatur teilt die Rohwerte (Logits) vor der Softmax. Eine niedrige Temperatur macht die Verteilung spitzer, das Modell wählt fast immer das wahrscheinlichste Token. Eine hohe Temperatur macht sie flacher, seltene Tokens kommen öfter zum Zug.
- Was ist Top-k-Sampling?
- Beim Top-k-Sampling werden nur die k wahrscheinlichsten Tokens berücksichtigt, alle anderen fallen weg. Aus diesen k Kandidaten wird zufällig gezogen, gewichtet nach ihrer Wahrscheinlichkeit. So verhindert man, dass sehr unwahrscheinliche Tokens den Text entgleisen lassen.
- Läuft das Modell in dieser App wirklich im Browser?
- Ja. Die App lädt GPT-2 mit 124 Millionen Parametern einmalig herunter (rund 500 MB) und rechnet danach lokal in deinem Browser. Folgende Aufrufe nutzen den Cache und starten sofort.
Fach: Neuronale Netze
Mehr aus Neuronale Netze
- Agenten-Schleife
- Attention Visualizer
- Backpropagation — Schuld rückwärts
- Basin of Attraction
- Dein Beruf unter KI
- Die Temperatur-Schraube
- Diffusionsmodell — Bilder aus Rauschen (3D)
- Embedding Space Explorer (3D)
Eine VisuApp von heyprof: interaktiv, kostenlos im Browser, ohne Anmeldung. Was ist eine VisuApp? · Alle Apps