Kontext verschiebt Bedeutung
Über diese App
Statischer gegen kontextuellen Wortvektor in 3D: Ein mehrdeutiges Wort startet zwischen zwei Bedeutungsinseln und wird Schicht für Schicht von den Kontextwörtern gezogen, stark nach Attention-Gewicht.
Statische und kontextuelle Wortvektoren
Ein statisches Embedding wie word2vec gibt jedem Wort genau einen Vektor, egal in welchem Satz es steht. Bei mehrdeutigen Wörtern wie Bank (Geldinstitut oder Sitzbank) landet dieser Vektor zwischen den Bedeutungen, näher an der häufigeren. Ein Transformer startet mit einem solchen Vektor und schreibt ihn Schicht für Schicht um. Per Attention schaut das Wort auf die anderen Wörter im Satz, und jedes zieht den Vektor ein Stück zu sich, gewichtet nach seiner Relevanz. Am Ende steht ein kontextueller Vektor, der die im Satz gemeinte Lesart trägt. Füllwörter wie „der“ oder „auf“ tragen dazu wenig bei.
Was die App zeigt
Im 3D-Raum liegen zwei Bedeutungsinseln, dazwischen das mehrdeutige Wort. Zur Auswahl stehen Bank, Schloss, Birne und Maus (englisch bank, bat, apple und mouse), jeweils mit Beispielsätzen. Im Modus „kontextuell“ wandert der Vektor von Schicht 0 bis 6; Zugseile und Balken zeigen, wie stark jedes Kontextwort per Attention zieht. Das Panel „Lesart“ gibt den Anteil der beiden Bedeutungen und den Kosinus an. Im Modus „statisch“ bleibt der Vektor in jedem Satz an derselben Stelle. Der Raum ist eine anschauliche Skizze mit gesetzten Koordinaten und vereinfachter Attention, keine Messung an einem echten Modell.
Selbst ausprobieren
Wähle ein Wort und einen Satz, schalte von „statisch“ auf „kontextuell“ und spiele die Schichten ab. Mit „Alle Sätze zugleich zeigen“ siehst du, dass dasselbe Wort je nach Satz auf verschiedenen Inseln landet. Stelle dir über die Kontextwörter einen eigenen Kontext zusammen und beobachte, welche Wörter stark ziehen und welche kaum. Ohne Kontext bleibt der Vektor, wo er ist.
Häufige Fragen
- Was ist der Unterschied zwischen statischen und kontextuellen Embeddings?
- Statische Embeddings wie word2vec oder GloVe geben jedem Wort einen festen Vektor, unabhängig vom Satz. Kontextuelle Embeddings aus Transformer-Modellen wie BERT oder GPT berechnen für jedes Vorkommen eines Wortes einen eigenen Vektor, der vom umgebenden Text abhängt. Dadurch lassen sich Bedeutungen mehrdeutiger Wörter unterscheiden.
- Wie löst ein Transformer Mehrdeutigkeit auf?
- In jeder Schicht berechnet Self-Attention, wie stark ein Wort die anderen Wörter im Satz berücksichtigt, und mischt deren Informationen gewichtet in seinen Vektor. Über mehrere Schichten verschiebt sich der Vektor eines mehrdeutigen Wortes so in Richtung der gemeinten Bedeutung. Wörter wie „Zinsen“ oder „Konto“ ziehen „Bank“ zum Geldinstitut.
- Was ist Attention in Sprachmodellen?
- Attention ist ein Mechanismus, bei dem jedes Token Gewichte für alle anderen Tokens berechnet, meist per Softmax über Ähnlichkeitswerte. Mit diesen Gewichten wird eine Mischung der Informationen der anderen Tokens gebildet. So kann ein Wort gezielt auf die Wörter achten, die für seine Bedeutung relevant sind.
- Zeigt die App Daten eines echten Sprachmodells?
- Nein. Die Koordinaten sind von Hand gesetzt und auf drei Dimensionen beschränkt, die Schichten nutzen eine vereinfachte Attention. Echte Modelle haben Hunderte Dimensionen und 12 bis 96 Schichten. Das Muster, dass Kontextwörter den Vektor Schicht für Schicht zur passenden Bedeutung ziehen, ist dasselbe.
Fach: Linguistik & Phonetik
Mehr aus Linguistik & Phonetik
- Bedeutungstrajektorie
- n-Gramm-Textgenerator
- Sprachbaum
- Tokenizer-Spielplatz
- Vokaltrakt — Zunge ziehen, Vokal hören (3D)
- Vom Bild zum Buchstaben
Eine VisuApp von heyprof: interaktiv, kostenlos im Browser, ohne Anmeldung. Was ist eine VisuApp? · Alle Apps