Transformer von innen
Über diese App
Ein kleines GPT rechnet im Browser, jede Zahl sichtbar: Tokens, Embedding, Q·Kᵀ und Attention-Matrix mit Maske, Residualstrom, MLP und Wahrscheinlichkeiten mit Temperatur und Top-k/Top-p; Lupen für jeden Rechenschritt.
Mit Erklärmodus: Ein KI-Tutor führt dich durch die App, zeigt in der Szene, worauf es ankommt, und beantwortet deine Fragen.
Wie ein Transformer das nächste Wort berechnet
Ein Sprachmodell wie GPT sagt immer nur das nächste Token voraus. Jedes Token wird zuerst zu einem Vektor: Token-Embedding plus Positions-Embedding. Dann folgen mehrere Transformer-Blöcke. In der Self-Attention bildet jedes Token eine Query und vergleicht sie per Skalarprodukt mit den Keys der Tokens davor; geteilt durch die Wurzel der Kopfdimension und mit Softmax normiert ergeben sich Gewichte, mit denen die Values gemischt werden. Die kausale Maske verbietet den Blick in die Zukunft. Ein MLP verarbeitet danach jedes Token einzeln, beide Schritte addieren ihr Ergebnis auf den Residualstrom. Am Ende vergleicht das Modell den letzten Vektor mit allen Wort-Embeddings; Softmax liefert die Wahrscheinlichkeiten.
Was die App zeigt
Hier rechnet ein kleines GPT, gebaut wie GPT-2: 4 Blöcke, 4 Attention-Köpfe, 64 Dimensionen, 436 Wörter. Jede Zwischengröße ist sichtbar: Vektorstreifen je Token, Query und Keyᵀ, die Attention-Matrix mit schraffierter Maske, Bänder von den Values zum ausgewählten Token, der Residualstrom, das MLP mit 256 Neuronen und rechts die Wahrscheinlichkeiten der nächsten Wörter. Vier Lupen zeigen jeden Rechenschritt mit Zahlen: Embedding-Matrix, Q·Kᵀ ÷ √16 und Softmax, GELU im MLP und die Logits aller Wörter.
Was du ausprobierst
Wähle ein Beispiel oder tippe eigenen Text und ziehe Wort für Wort weiter. Im Satz „Die Katze trinkt Milch. Sie" findest du den Kopf, der vom Pronomen auf die Katze schaut. Verändere die Temperatur zwischen 0,1 und 2 und beobachte, wie die Verteilung spitz oder flach wird. Schalte zwischen Top-k und Top-p um und sieh, welche Wörter unter die Schnittlinie fallen. Ein Klick auf ein Wort rechts hängt es an.
Häufige Fragen
- Was macht die Attention in einem Transformer?
- Sie lässt jedes Token Information aus den Tokens davor einsammeln. Query und Key ergeben per Skalarprodukt einen Wert je Paar, Softmax macht daraus Gewichte, und die gewichtete Summe der Values ist der neue Vektor des Tokens.
- Was bewirkt die Temperatur bei Sprachmodellen?
- Die Logits werden vor der Softmax durch die Temperatur geteilt. Kleine Werte machen die Verteilung spitz und den Text vorhersehbar, große Werte machen sie flach und lassen seltene Wörter zu. Das Wissen des Modells ändert sich dabei nicht.
- Was ist der Unterschied zwischen Top-k und Top-p?
- Top-k behält die k wahrscheinlichsten Wörter. Top-p behält die kleinste Gruppe der wahrscheinlichsten Wörter, die zusammen mindestens die Wahrscheinlichkeit p erreichen. Danach wird unter den verbliebenen Wörtern gezogen.
- Läuft in der App ein echtes Sprachmodell?
- Ja, ein kleines GPT mit 229 504 Parametern rechnet direkt im Browser. Es ist auf kurze deutsche und englische Beispieltexte trainiert und deshalb nur in diesen Themen treffsicher; GPT-2 small hat 124 Millionen Parameter.
Fach: Neuronale Netze
Mehr aus Neuronale Netze
- Agenten-Schleife
- Attention Visualizer
- Backpropagation — Schuld rückwärts
- Basin of Attraction
- Dein Beruf unter KI
- Die Temperatur-Schraube
- Diffusionsmodell — Bilder aus Rauschen (3D)
- Embedding Space Explorer (3D)
Eine VisuApp von heyprof: interaktiv, kostenlos im Browser, ohne Anmeldung. Was ist eine VisuApp? · Alle Apps