Embedding Space Explorer (3D)
Über diese App
Wörter als Vektoren in einem Bedeutungsraum: Ähnlichkeit als Kosinus im vollen Raum, Analogie-Pfeile, Nachbarn und drei 3D-Schatten (Karte, PCA, Achsen) mit der Angabe, wie viel Nachbarschaft jeder erhält.
Was ein Embedding ist
Ein Sprachmodell speichert jedes Wort oder Token als Liste von Zahlen, einen Vektor. Diese Vektoren heißen Embeddings. Wörter mit ähnlicher Bedeutung zeigen in ähnliche Richtungen, ganze Themen bilden Wolken. Ähnlichkeit misst man mit dem Kosinus des Winkels zwischen zwei Vektoren: cos θ = 1 bedeutet gleiche Richtung, 0 bedeutet keinen Zusammenhang. Auch Richtungen tragen Bedeutung, daher funktionieren Analogien wie König − Mann + Frau ≈ Königin. Echte Embeddings werden aus Text gelernt und haben einige hundert bis mehrere tausend unbenannte Achsen; Analogien gelten dort nur ungefähr.
Was die App zeigt
Die App nutzt ein von Hand gebautes Modell mit 98 Wörtern und 17 benannten Achsen, etwa Geschlecht, Status, Größe oder Hauptstadt. So gehen die Muster exakt auf. Die Wörter gehören zu fünf Gruppen: Royals und Familie, Länder, Hauptstädte, Tiere und Berufe. Gesucht und gerechnet wird immer im vollen 17-dimensionalen Raum. Im Bild siehst du nur einen 3D-Schatten: eine von Hand angeordnete Karte, eine PCA oder drei einzelne Achsen. Die Kennzahl „Nachbar-Treue“ zeigt, wie viele der fünf echten Nachbarn auch im Bild die nächsten sind.
Selbst ausprobieren
Gib ein Wort wie König, Tiger oder Paris ein und sieh dir die nächsten Nachbarn mit Winkel und Kosinus an. Im Panel „Vektor“ rechnest du Analogien wie Deutschland − Berlin + Paris oder Arzt − Mann + Frau; Pfeile zeigen den Weg, und die App sagt, ob ein Wort exakt getroffen wird oder nur das nächste ist. Wechsle unter „Dimensionen“ zwischen Karte, PCA und drei Achsen und vergleiche die Nachbar-Treue: Kein 3D-Schatten erreicht 100 %.
Häufige Fragen
- Was sind Word Embeddings?
- Word Embeddings sind Vektoren, mit denen ein Sprachmodell Wörter oder Tokens als Zahlenlisten darstellt. Sie werden so gelernt, dass Wörter, die in ähnlichen Zusammenhängen vorkommen, ähnliche Vektoren bekommen. Dadurch lässt sich Bedeutungsähnlichkeit als Winkel oder Abstand messen.
- Was misst die Kosinus-Ähnlichkeit?
- Die Kosinus-Ähnlichkeit ist der Kosinus des Winkels zwischen zwei Vektoren: das Skalarprodukt geteilt durch das Produkt der Längen. Sie liegt zwischen −1 und 1, und 1 bedeutet gleiche Richtung. Sie vergleicht nur Richtungen, nicht Längen, und ist deshalb das übliche Maß für Embeddings.
- Warum ergibt König − Mann + Frau Königin?
- In einem guten Embedding-Raum entspricht der Unterschied zwischen Mann und Frau ungefähr einer festen Richtung. Zieht man sie bei König ab und addiert sie wieder in der anderen Form, landet man in der Nähe von Königin. In gelernten Modellen gilt das nur näherungsweise, man sucht das Wort mit dem größten Kosinus zum Ergebnispunkt.
- Was kann ich in dieser App ausprobieren?
- Du suchst Wörter und ihre Nachbarn, rechnest Analogien mit Pfeilen und blendest Themengruppen aus. Unter „Dimensionen“ siehst du den Zahlenvektor eines Wortes und vergleichst drei 3D-Projektionen danach, wie gut sie die echte Nachbarschaft erhalten.
Fach: Neuronale Netze
Mehr aus Neuronale Netze
- Agenten-Schleife
- Attention Visualizer
- Backpropagation — Schuld rückwärts
- Basin of Attraction
- Dein Beruf unter KI
- Die Temperatur-Schraube
- Diffusionsmodell — Bilder aus Rauschen (3D)
- Gradient Descent (3D)
Eine VisuApp von heyprof: interaktiv, kostenlos im Browser, ohne Anmeldung. Was ist eine VisuApp? · Alle Apps