Token
Ein Token ist die grundlegende Verarbeitungseinheit eines Sprachmodells, in die Texte vor der Verarbeitung zerlegt werden. Ein Token kann einem ganzen Wort, einem Wortteil, einem Satzzeichen oder einem einzelnen Zeichen entsprechen; die Zerlegung hängt vom jeweiligen Modell ab.
Tokenzahlen bestimmen die Größe des Kontextfensters, Verarbeitungsgrenzen und häufig die Kosten einer KI-Nutzung. Sie sind nicht mit Wortzahlen gleichzusetzen: Lange deutsche Komposita werden oft in mehrere Token aufgeteilt.
Wie wirken sich Token auf Kosten und Textlänge aus?
Token bestimmen, wie viel Text ein Sprachmodell auf einmal verarbeiten kann und was eine Anfrage kostet. Gezählt werden dabei meist Eingabe und Ausgabe, oft mit unterschiedlichen Preisen.
Für den Content-Alltag heißt das: Lange Briefings, angehängte Dokumente und ausführliche Beispiele verbrauchen Token, bevor das Modell überhaupt antwortet. Wird das Kontextfenster überschritten, schneiden manche Systeme Inhalte ab oder verlieren frühere Teile eines Gesprächs aus dem Blick.
Deutsche Texte benötigen häufig mehr Token als englische Texte gleicher Länge. Planungen auf Basis englischer Erfahrungswerte fallen deshalb oft zu knapp aus.
Begrenzt die Ausgabelänge, wenn ihr nur kurze Ergebnisse braucht, und gebt statt ganzer Dokumente die relevanten Abschnitte mit. Für genaue Werte bieten viele Anbieter Tokenzähler an.
Ein langer deutschsprachiger Fachbegriff kann in mehrere Token zerlegt werden.
Häufige Fragen
Kontextfenster und Token: Wie hängt das zusammen?
Das Kontextfenster gibt an, wie viele Token ein Sprachmodell in einer Anfrage insgesamt berücksichtigen kann. Dazu zählen Systemanweisungen, euer Prompt, angehängte Dokumente, der bisherige Gesprächsverlauf und die Antwort selbst. Ist das Fenster voll, müssen Inhalte gekürzt werden. Größere Kontextfenster erlauben längere Dokumente, verursachen aber meist höhere Kosten.
Warum unterscheiden sich Token-Zahlen zwischen KI-Modellen?
Token-Zahlen unterscheiden sich, weil jedes Modell seinen eigenen Tokenizer hat, also ein eigenes Verfahren und Vokabular zur Zerlegung von Text. Derselbe Text kann deshalb bei verschiedenen Anbietern unterschiedlich viele Token ergeben. Preise pro Token lassen sich darum nur bedingt direkt vergleichen. Aussagekräftiger ist ein Test mit euren typischen Texten.
Zählen Bilder und PDFs auch als Token?
Ja, auch Bilder, PDFs und andere Dateien werden bei multimodalen Modellen in Token umgerechnet und belasten Kontextfenster und Kosten. Wie viele Token ein Bild oder eine Seite verbraucht, hängt vom Modell und oft von Auflösung und Umfang ab. Bei langen PDFs lohnt es sich, nur die relevanten Seiten oder einen Textauszug mitzugeben.
Was haben Token mit der Qualität von KI-Texten zu tun?
Token beeinflussen die Qualität von KI-Texten indirekt. Begrenzt ihr die Ausgabe zu stark, bricht ein Text ab oder bleibt oberflächlich. Ist der Kontext mit unwichtigem Material überladen, berücksichtigt das Modell zentrale Vorgaben womöglich weniger zuverlässig. Gute Ergebnisse entstehen, wenn der Kontext knapp, relevant und klar gegliedert ist.