Bedeutungstrajektorie
Über diese App
Echte Wortvektoren — deutsch fastText (cc.de.300), englisch GloVe: Beziehungen als parallele Pfeile, König − Mann + Frau ≈ Königin mit Treffern, knappen Fehlern und gelerntem Bias, Kosinus gegen Abstand und Sätze als Weg mit Folgewort-Kandidaten aus GerPT2 bzw. GPT-2.
Wortvektoren und Analogien
Ein Wortvektor (Word Embedding) ordnet jedem Wort einen Punkt in einem Raum mit Hunderten Dimensionen zu. Gelernt wird er aus großen Textmengen: Wörter, die in ähnlichen Kontexten stehen, landen nahe beieinander. Ähnlichkeit misst man meist mit dem Kosinus des Winkels zwischen zwei Vektoren. Manche Beziehungen erscheinen als ungefähr parallele Verschiebung, etwa Geschlecht oder Hauptstadt. Deshalb landet König − Mann + Frau in der Nähe von Königin; die Antwort ist der nächste Nachbar per Kosinus, wobei die Eingabewörter ausgeschlossen werden. Das klappt oft knapp und nicht immer, und die Vektoren übernehmen auch Stereotype aus ihren Trainingstexten.
Was die App zeigt
Jeder Punkt ist ein echtes Wort: in der deutschen Oberfläche mit fastText-Vektoren (cc.de.300), in der englischen mit GloVe. Die Vektoren sind auf 100 Dimensionen verdichtet; gezeichnet wird eine Projektion in 3D oder 2D, gerechnet wird immer in 100-D. Drei Ansichten stehen bereit: Analogie mit den Beziehungen Geschlecht, Hauptstadt, Vergangenheit, Steigerung, Plural und Stereotyp, jeweils mit Treffern, Beinahe-Treffern und Hinweisen; Ähnlichkeit mit Kosinus, Winkel, Längen und Abstand zweier Wörter samt Nachbarlisten; und Satz, bei dem die Wortvektoren als Bahn verbunden werden, mit Folgewort-Kandidaten aus GerPT2 bzw. GPT-2.
Worauf du achten kannst
Blende in der Analogie-Ansicht weitere Paare derselben Beziehung ein und prüfe, wie parallel die Pfeile wirklich sind. Wähle das Häkchen ab, das die Eingabewörter ausschließt: Oft liegt dann ein Eingabewort selbst vorn. In der Ähnlichkeitsansicht siehst du, dass Gegensätze wie gut und schlecht einen hohen Kosinus haben. Normierst du alle Vektoren auf Länge 1, ergeben Abstand und Kosinus dieselbe Rangfolge. Die Folgewort-Wahrscheinlichkeiten gibt es nur für die Beispielsätze; für eigene Sätze zeigt die App nur die Bahn.
Häufige Fragen
- Warum ergibt König − Mann + Frau ungefähr Königin?
- In Wortvektoren erscheinen manche Beziehungen als ungefähr gleiche Verschiebung im Raum, etwa von männlich nach weiblich. Zieht man vom Vektor für König den für Mann ab und addiert den für Frau, landet man in der Nähe von Königin. Gesucht wird der nächste Nachbar per Kosinus, wobei die Eingabewörter ausgeschlossen werden; ohne diesen Ausschluss liegt oft König selbst vorn.
- Was ist der Unterschied zwischen Kosinus-Ähnlichkeit und euklidischem Abstand?
- Der Kosinus misst nur den Winkel zwischen zwei Vektoren, der euklidische Abstand auch ihre Länge. Bei Wortvektoren unterscheiden sich die Längen, deshalb können die beiden Maße unterschiedliche Nachbarn liefern. Normiert man alle Vektoren auf Länge 1, gilt Abstand = √(2 − 2 cos), und die Rangfolgen stimmen überein.
- Übernehmen Word Embeddings Vorurteile?
- Ja. Wortvektoren bilden die statistischen Muster ihrer Trainingstexte ab, darunter auch Geschlechterstereotype bei Berufen. Analogien wie Mann zu Arzt wie Frau zu ? liefern deshalb teils stereotype Antworten. Das wurde unter anderem von Bolukbasi u. a. (2016) beschrieben.
- Welche Daten nutzt diese App?
- Die deutsche Oberfläche nutzt fastText-Vektoren (cc.de.300), die englische GloVe-Vektoren; beide sind für die App auf 100 Dimensionen verdichtet und auf einen festen Wortschatz begrenzt. Das Bild ist eine Projektion, alle Kennzahlen werden in 100-D berechnet. Die Folgewort-Kandidaten in der Satzansicht sind vorab mit GerPT2 bzw. GPT-2 berechnet.
Fach: Linguistik & Phonetik
Mehr aus Linguistik & Phonetik
- Kontext verschiebt Bedeutung
- n-Gramm-Textgenerator
- Sprachbaum
- Tokenizer-Spielplatz
- Vokaltrakt — Zunge ziehen, Vokal hören (3D)
- Vom Bild zum Buchstaben
Eine VisuApp von heyprof: interaktiv, kostenlos im Browser, ohne Anmeldung. Was ist eine VisuApp? · Alle Apps