Embedding
Ein Embedding ist die Übersetzung eines Textabschnitts in eine Zahlenfolge, die seine Bedeutung abbildet. Abschnitte mit ähnlichem Inhalt bekommen ähnliche Zahlenfolgen — dadurch lässt sich nach Sinn suchen statt nach Wörtern. Das ist die technische Grundlage dafür, dass eine Frage in eigenen Worten die richtige Stelle findet, auch wenn dort völlig andere Begriffe stehen.
Warum findet man damit mehr als mit Stichwörtern?
Weil Menschen dieselbe Sache verschieden benennen. Wer nach «Kündigungsfrist» sucht, findet mit einer Stichwortsuche nicht die Klausel, in der von «Beendigung des Vertragsverhältnisses» die Rede ist — inhaltlich ist es dieselbe Frage.
Embeddings bilden diese Nähe ab. Für gewachsene Bestände, in denen drei Abteilungen dieselbe Sache anders nennen, ist das der Unterschied zwischen einer Suche, die benutzt wird, und einer, die man aufgibt.
Wovon hängt die Qualität ab?
Vor allem von der Zerlegung des Textes. Werden Dokumente stur nach Zeichenzahl geschnitten, zerreißen Tabellen und Absätze, und die entstehenden Bruchstücke tragen keine vollständige Aussage mehr.
Zweitens von der Frage, was zusätzlich mitgegeben wird: Überschrift, Dokumententitel, Gültigkeitsstand. Ein Abschnitt ohne diesen Kontext ist mehrdeutig — und Mehrdeutigkeit ist genau das, was eine Suche wieder unbrauchbar macht.
Was bedeutet das im Projekt?
Dass die unscheinbare Arbeit an der Aufbereitung die Ergebnisqualität stärker bestimmt als die sichtbare Arbeit an Modell und Oberfläche. In Piloten, die enttäuschen, liegt die Ursache fast immer hier.
Praktisch heißt das: Bei schlechten Trefferquoten lohnt der Blick zuerst auf die Zerlegung, nicht auf das Modell.
Wovon ist das zu unterscheiden?
Vektordatenbank
Das Embedding ist die Zahlenfolge, die Vektordatenbank der Ort, an dem diese Folgen gespeichert und durchsucht werden. Zwei Ebenen, die häufig verwechselt werden.
Volltextindex
Ein Volltextindex speichert Wörter und findet exakte Übereinstimmungen. Embeddings speichern Bedeutungsnähe. In der Praxis werden beide kombiniert, weil exakte Begriffe — Aktenzeichen, Artikelnummern — anders zu behandeln sind als Sachfragen.
Häufige Fragen
Muss man Embeddings neu berechnen, wenn Dokumente sich ändern?+
Nur für die geänderten Abschnitte, und das läuft im laufenden Betrieb mit. Aufwendiger wird es bei einem Wechsel des Embedding-Modells: dann ist der gesamte Bestand neu zu verarbeiten — ein Punkt, der bei der Architekturentscheidung mitgedacht gehört.
Funktioniert das über Sprachgrenzen hinweg?+
Mit mehrsprachigen Modellen ja: Eine deutsche Frage findet eine Stelle im englischen Lieferantenhandbuch. Für Bestände mit fremdsprachigen Unterlagen ist das oft der ausschlaggebende Vorteil.
Kann man aus Embeddings den Originaltext rekonstruieren?+
Nicht vollständig, aber sie sind auch keine Anonymisierung — aus ihnen lassen sich Rückschlüsse ziehen. Sie sind deshalb wie die zugrundeliegenden Dokumente zu behandeln: mit denselben Rechten und demselben Verarbeitungsort.
Verwandte Begriffe
Am eigenen Dokument statt an Definitionen
Begriffe helfen bei der Einordnung, nicht bei der Entscheidung. Schicken Sie uns ein typisches Dokument und drei Fragen dazu — Sie sehen das Ergebnis an Ihrem eigenen Material, bevor über Budget gesprochen wird.
Test anfragen