Kontextfenster
Das Kontextfenster ist die Menge an Text, die ein Modell bei einer Anfrage gleichzeitig verarbeiten kann — Anweisung, mitgeliefertes Material und Antwort zusammengenommen. Es ist in den letzten Jahren stark gewachsen, was zu einem verbreiteten Trugschluss geführt hat: dass man nun einfach ganze Dokumentenbestände hineingeben könne. Praktisch sinkt die Trefferqualität, je mehr Unwichtiges mitgegeben wird.
Warum hilft ein größeres Fenster weniger als erwartet?
Weil die Aufmerksamkeit sich verteilt. Ein Modell, dem hundert Seiten vorgelegt werden, findet die entscheidende Zeile schlechter als eines, dem die drei passenden Abschnitte vorgelegt werden — dasselbe Modell, dasselbe Fenster.
Hinzu kommt der Preis: Abgerechnet wird nach verarbeiteten Token. Wer jedes Mal den halben Bestand mitschickt, zahlt bei jeder Anfrage dafür, dass das Modell Unwichtiges liest.
Was heißt das für den Aufbau?
Dass die Suche die eigentliche Leistung ist, nicht die Fenstergröße. Ein guter Aufbau legt wenige, genau passende Abschnitte vor — und wird dadurch schneller, günstiger und genauer zugleich.
Große Fenster sind trotzdem nützlich, aber für andere Fälle: ein einzelner langer Vertrag, der als Ganzes betrachtet werden muss, oder ein Vergleich zweier vollständiger Fassungen. Dort ersetzen sie eine sonst nötige Zerlegung.
Wovon ist das zu unterscheiden?
Speicher
Das Fenster ist kein Gedächtnis. Was nicht mitgegeben wird, ist für die Anfrage nicht vorhanden — auch wenn es in einem früheren Gespräch stand. Kontinuität über Gespräche hinweg ist eine Funktion der Anwendung, nicht des Modells.
Trainingsdaten
Das Fenster betrifft die aktuelle Anfrage, Trainingsdaten das dauerhaft im Modell verankerte Wissen. Was im Fenster steht, verändert das Modell nicht.
Häufige Fragen
Können wir unsere gesamte Dokumentation ins Fenster geben?+
Bei großen Fenstern technisch teilweise ja, sinnvoll ist es nicht: Die Antwortqualität sinkt mit dem Anteil des Unwichtigen, und die Kosten steigen mit jedem Token. Die passende Auswahl schlägt die vollständige Übergabe fast immer.
Was passiert, wenn das Fenster überschritten wird?+
Je nach Aufbau wird abgeschnitten oder die Anfrage abgewiesen. Beides ist unangenehm — abgeschnitten wird stillschweigend, und dann fehlt möglicherweise genau die entscheidende Stelle. Ein produktiver Aufbau muss diesen Fall abfangen, statt ihn eintreten zu lassen.
Merkt sich das System frühere Fragen?+
Nur, wenn die Anwendung sie erneut mitgibt. Das ist eine bewusste Entscheidung mit Folgen: Ein mitgeführter Verlauf verbraucht Fenster und Kosten und kann alte Missverständnisse mitschleppen.
Verwandte Begriffe
Am eigenen Dokument statt an Definitionen
Begriffe helfen bei der Einordnung, nicht bei der Entscheidung. Schicken Sie uns ein typisches Dokument und drei Fragen dazu — Sie sehen das Ergebnis an Ihrem eigenen Material, bevor über Budget gesprochen wird.
Test anfragen