Zum Inhalt
Alle Apps

Tokenizer-Spielplatz

Über diese App

Text zerfällt in Tokens: Byte-Level-BPE wird live trainiert, der Merge-Regler zeigt, wie häufige Wörter zu einem Token verschmelzen, dazu Token-Details, Sprachvergleich und Anteil am Kontextfenster.

Was ein Tokenizer macht

Ein Sprachmodell liest weder Buchstaben noch ganze Wörter. Ein Tokenizer zerlegt den Text in Tokens und ersetzt jedes durch eine Zahl, seine ID; das Modell bekommt nur diese Zahlenfolge. Viele Modelle bauen ihr Vokabular mit Byte-Pair-Encoding (BPE): Man startet mit den 256 möglichen Bytes, zählt im Trainingskorpus das häufigste Nachbarpaar, verschmilzt es zu einem neuen Token und wiederholt das. Häufige Wörter werden so zu einem einzigen Token, seltene Wörter, Tippfehler, Emojis und wenig vertretene Sprachen bleiben in mehrere Stücke zerlegt, im Extremfall bis auf einzelne Bytes.

Was die App zeigt

Der Tokenizer ist echtes Byte-Level-BPE nach dem Verfahren von GPT-2, trainiert live im Browser auf einem kleinen Korpus aus überwiegend Englisch, etwas Deutsch und etwas Python. Dein Text erscheint farbig in Tokens zerlegt, umschaltbar auf Wörter oder Zeichen. Ein Regler fährt das Training Merge für Merge vor und zurück und zeigt die häufigsten Paare, die neuen Vokabular-Tokens und die Korpuswörter, in denen sie vorkommen. Die Statistik nennt Zeichen, Bytes, Wörter, Tokens, Zeichen pro Token und den Anteil an einem Kontextfenster. Ein Klick auf ein Token zeigt ID, Bytes und Herkunft aus Merges.

Selbst ausprobieren

Vergleiche die Beispiele: einen englischen und einen deutschen Satz, ein Bandwurmwort, Tippfehler, Emojis, Code und Zahlen. Achte darauf, wie viele Tokens pro Wort jeweils entstehen. Setze den Merge-Regler auf 0 und lass das Training laufen: Erst sind alle Tokens einzelne Bytes, dann verschmelzen häufige Silben und Wörter. Das Beispiel „strawberry“ zeigt, warum Buchstaben zählen für ein Modell schwer ist: Die Buchstaben im Token sind für das Modell unsichtbar.

Häufige Fragen

Was ist ein Token bei ChatGPT und anderen Sprachmodellen?
Ein Token ist ein Textstück, das der Tokenizer als Einheit behandelt, etwa ein häufiges Wort, eine Silbe, ein Satzzeichen oder ein einzelnes Byte. Jedes Token hat eine Nummer im Vokabular, und das Modell verarbeitet nur diese Nummern. Kosten und die Länge des Kontextfensters werden in Tokens gezählt, nicht in Zeichen oder Wörtern.
Wie funktioniert Byte-Pair-Encoding (BPE)?
BPE startet mit einem Grundvokabular, bei Byte-Level-BPE den 256 möglichen Bytes. Im Trainingskorpus wird das häufigste benachbarte Tokenpaar gesucht und zu einem neuen Token zusammengefasst; das wiederholt sich, bis die gewünschte Vokabulargröße erreicht ist. Beim Zerlegen eines neuen Textes werden die gelernten Merges in derselben Reihenfolge angewendet.
Warum kann ein Sprachmodell die r in „strawberry“ schlecht zählen?
Das Modell sieht das Wort nicht als Folge von Buchstaben, sondern als ein oder wenige Tokens mit je einer ID. Welche Buchstaben in einem Token stecken, ist in dieser Eingabe nicht direkt enthalten. Aufgaben auf Buchstabenebene sind deshalb überraschend schwer, obwohl sie für Menschen trivial sind.
Ist das der echte Tokenizer von GPT?
Nein. Die App nutzt dasselbe Verfahren wie GPT-2, Byte-Level-BPE, trainiert es aber live im Browser auf einem Mini-Korpus mit wenigen Merges. GPT-2 hat 50 257 Tokens, neuere Modelle 100 000 bis 200 000. Die konkreten Zerlegungen unterscheiden sich daher, das Prinzip ist dasselbe.

Fach: Linguistik & Phonetik

Mehr aus Linguistik & Phonetik

Eine VisuApp von heyprof: interaktiv, kostenlos im Browser, ohne Anmeldung. Was ist eine VisuApp? · Alle Apps