Token
Ein Token ist die kleinste Verarbeitungseinheit eines Sprachmodells — grob ein Wortteil; im Deutschen etwa drei Viertel eines Wortes, bei Fachbegriffen und Zusammensetzungen deutlich weniger. Token sind die Abrechnungseinheit: Bezahlt wird, was hineingeht und was herauskommt. Für die Kostenschätzung eines Projekts ist das die praktisch relevante Größe.
Warum ist Deutsch teurer als Englisch?
Weil die meisten Modelle vorwiegend auf englischem Text trainiert wurden und deutsche Wörter deshalb in mehr Teile zerlegt werden. Zusammensetzungen wie «Betriebsvereinbarung» oder «Auftragsverarbeitungsvertrag» zerfallen in mehrere Token, wo ein englisches Äquivalent mit einem auskommt.
Praktisch heißt das: Dieselbe Aufgabe kostet auf Deutsch spürbar mehr als auf Englisch. Bei der Kostenschätzung eines Projekts mit deutschen Dokumenten gehört dieser Aufschlag eingerechnet.
Wie schätzt man die Kosten eines Anwendungsfalls?
Über drei Größen: Zahl der Anfragen pro Monat, durchschnittlich mitgegebenes Material je Anfrage, durchschnittliche Antwortlänge. Der zweite Posten dominiert fast immer — deshalb ist eine präzise Suche nicht nur eine Qualitäts-, sondern eine Kostenfrage.
Der häufigste Schätzfehler ist, nur die Antwortlänge zu betrachten. Bei einem RAG-Aufbau geht ein Vielfaches davon in das mitgelieferte Material.
Warum steht der Tokenpreis selten in der Projektrechnung?
Weil er meist der kleinere Posten ist. Bei den üblichen Anwendungsfällen im Dokumentenbereich liegen die laufenden Modellkosten deutlich unter den Kosten für Anbindung, Betrieb und die Zeit des Fachbereichs — sie fallen erst bei sehr hohem Anfragevolumen ins Gewicht.
Das ändert sich in zwei Fällen: bei Massenverarbeitung ganzer Bestände, etwa wenn hunderttausend Verträge einmalig ausgewertet werden, und bei Abläufen, die für jeden Vorgang mehrere Modellaufrufe hintereinander machen. Beide Fälle gehören vorher durchgerechnet, weil sich der Posten dort um Größenordnungen unterscheidet.
Für die Angebotsprüfung heißt das: Ein Anbieter, der Tokenkosten als Hauptargument führt, beschreibt selten den Posten, der Ihr Projekt teuer macht.
Wovon ist das zu unterscheiden?
Zeichen
Die Umrechnung ist nicht linear und sprachabhängig. Eine Schätzung über Zeichenzahl liegt bei deutschen Fachtexten regelmäßig zu niedrig.
Anfrage
Abgerechnet wird nicht pro Anfrage, sondern pro Token. Zwei Anfragen können sich in den Kosten um den Faktor zehn unterscheiden, je nachdem, wie viel Material mitgegeben wurde.
Häufige Fragen
Wie viele Token hat eine typische Seite?+
Als grobe Orientierung liegt eine Seite deutscher Fließtext im Bereich einiger hundert Token. Für eine belastbare Schätzung zählt man am eigenen Material statt an Faustregeln — bei Tabellen und Formularen weichen die Werte erheblich ab.
Lassen sich Kosten senken, ohne Qualität zu verlieren?+
Der wirksamste Hebel ist die Auswahl: weniger, aber passenderes Material mitgeben. Das senkt Kosten und erhöht die Trefferqualität zugleich — einer der seltenen Fälle, in denen beides in dieselbe Richtung zeigt.
Zahlt man auch für die Frage des Nutzers?+
Ja, für alles, was hineingeht und herauskommt. Der Anteil der Nutzerfrage ist allerdings vernachlässigbar gegenüber dem mitgelieferten Material.
Verwandte Begriffe
Am eigenen Dokument statt an Definitionen
Begriffe helfen bei der Einordnung, nicht bei der Entscheidung. Schicken Sie uns ein typisches Dokument und drei Fragen dazu — Sie sehen das Ergebnis an Ihrem eigenen Material, bevor über Budget gesprochen wird.
Test anfragen