n-Gramm-Textgenerator
Über diese App
Text aus Zählungen der letzten n − 1 Tokens: Zähltabelle P(w|h), Weg von Kauderwelsch über plausiblen Text zur wörtlichen Kopie, Explosion der möglichen Kontexte, Glättung und Backoff; Korpora DE und EN.
Wie ein n-Gramm-Modell funktioniert
Ein n-Gramm-Modell sagt das nächste Token nur aus den letzten n − 1 Token vorher voraus. Die Wahrscheinlichkeiten sind reine Zählungen aus einem Textkorpus: P(w | Kontext) = count(Kontext + w) / count(Kontext). Text erzeugen heißt: Zeile für den aktuellen Kontext nachschlagen, nach den Häufigkeiten würfeln, das Token anhängen und wiederholen. Mit wachsendem n gibt es V^(n−1) mögliche Kontexte bei einem Vokabular der Größe V, ein Korpus mit N Token enthält aber höchstens N davon. Fast alle Zellen der Tabelle sind deshalb 0. Glättung wie Add-one oder Backoff auf kürzere Kontexte fängt nie gesehene Kontexte ab.
Was die App zeigt
Die App erzeugt Text aus einem von fünf kleinen Korpora (Katzen, Märchen, Weltall, Kochbuch, Nachrichten) oder allen fünf zusammen, auf Deutsch oder Englisch, wahlweise auf Buchstaben- oder Wortebene. Zu jedem Schritt erscheint die Zähltabelle mit dem aktuellen Kontext, den Zählungen und der Formel. Ein Diagramm stellt mögliche und tatsächlich gesehene Kontexte je n gegenüber. Wörtlich aus dem Korpus kopierte Passagen werden markiert; antippen zeigt die Fundstelle im Original. Kennzahlen wie Kandidaten pro Schritt (Perplexität) und Kopieranteil ordnen den Text ein.
Selbst ausprobieren
Erhöhe n auf Buchstabenebene schrittweise von 1 auf 6: Aus Zeichensalat werden Silben, dann echte Wörter, schließlich lange abgeschriebene Passagen. Auf Wortebene ist schon beim Trigramm vieles Kopie, weil das Korpus klein ist. Gib einen eigenen Anfang ein, der so nie im Korpus vorkommt, und wechsle zwischen „nur zählen“, „Backoff“ und „Add-one“: Reines Zählen steckt fest, Add-one füllt seltene Kontexte mit Zufallstoken, Backoff weicht auf kürzere Kontexte aus.
Häufige Fragen
- Was ist ein n-Gramm-Modell?
- Ein n-Gramm-Modell ist ein statistisches Sprachmodell, das die Wahrscheinlichkeit des nächsten Wortes oder Zeichens nur aus den n − 1 vorhergehenden Token schätzt. Die Wahrscheinlichkeiten werden durch Zählen in einem Korpus gewonnen. Ein Bigramm-Modell schaut also auf ein Token zurück, ein Trigramm-Modell auf zwei.
- Warum schreibt ein n-Gramm-Modell bei großem n den Trainingstext ab?
- Lange Kontexte kommen in einem Korpus meist nur einmal vor und haben dann genau eine Fortsetzung. Das Modell hat an diesen Stellen keine Wahl und gibt den Originaltext wörtlich wieder. Je kleiner das Korpus, desto früher tritt dieses Auswendiglernen auf.
- Was ist der Unterschied zwischen Add-one-Glättung und Backoff?
- Add-one (Laplace-Glättung) addiert zu jeder Zählung 1, sodass kein Token die Wahrscheinlichkeit 0 hat; dabei geht viel Wahrscheinlichkeit an Token, die im Kontext nie vorkamen. Backoff lässt bei einem nie gesehenen Kontext das älteste Token weg und schlägt mit einem kürzeren Kontext nach. Beide Verfahren lösen das Problem der vielen Nullen in der Zähltabelle.
- Was kann ich in dieser App ausprobieren?
- Du wählst Korpus, Sprache, Buchstaben- oder Wortebene und die Ordnung n von 1 bis 6 und lässt Text Schritt für Schritt oder fortlaufend erzeugen. Die Zähltabelle zeigt jeden Würfelwurf, ein Diagramm die Explosion der möglichen Kontexte. Mit einem eigenen Satzanfang und den drei Glättungsoptionen siehst du, was bei nie gesehenen Kontexten passiert.
Fach: Linguistik & Phonetik
Mehr aus Linguistik & Phonetik
- Bedeutungstrajektorie
- Kontext verschiebt Bedeutung
- Sprachbaum
- Tokenizer-Spielplatz
- Vokaltrakt — Zunge ziehen, Vokal hören (3D)
- Vom Bild zum Buchstaben
Eine VisuApp von heyprof: interaktiv, kostenlos im Browser, ohne Anmeldung. Was ist eine VisuApp? · Alle Apps