Glossar

RAG (Retrieval Augmented Generation)

RAG ist ein Verfahren, bei dem ein Sprachmodell vor der Antwort in einem festgelegten Dokumentenbestand nachschlägt und nur aus den gefundenen Stellen antwortet. Der Unterschied zum reinen Modellwissen ist die Belegbarkeit: Jede Aussage lässt sich auf ein Dokument und einen Absatz zurückführen. Für Unternehmen ist das der Standardaufbau, weil er aktuelle interne Informationen nutzbar macht, ohne das Modell zu verändern.

Wie funktioniert das im Ablauf?

Die Frage wird zuerst in eine Suche über den eigenen Bestand übersetzt. Gefunden werden nicht Dokumente als Ganzes, sondern einzelne Abschnitte, die inhaltlich zur Frage passen — auch wenn dort andere Wörter stehen als in der Frage.

Diese Abschnitte werden dem Modell zusammen mit der Frage vorgelegt. Es formuliert die Antwort ausschließlich aus diesem Material und nennt die Fundstelle. Findet die Suche nichts Passendes, entsteht keine Antwort — das ist die wichtigste Eigenschaft des Verfahrens.

Warum ist das für Unternehmen der Normalfall?

Weil interne Informationen sich laufend ändern und ein Modell sie nicht kennen kann. Ein Handbuch von letzter Woche, eine geänderte Richtlinie, ein neuer Vertrag: RAG bezieht sie ein, sobald sie im Bestand liegen, ohne dass am Modell etwas geändert wird.

Der zweite Grund ist die Nachweisbarkeit. In regulierten Bereichen ist eine Antwort ohne Quellenangabe wertlos, und RAG liefert die Quelle konstruktionsbedingt mit — nicht als Zusatzfunktion.

Woran scheitert RAG in der Praxis?

Fast nie am Modell, meist an der Aufbereitung: Wenn Dokumente ungünstig zerlegt werden, zerreißt eine Tabelle oder ein Absatz mitten im Satz, und die Suche findet Bruchstücke ohne Zusammenhang.

Der zweite Punkt sind die Zugriffsrechte. Werden sie nicht aus dem Bestandssystem übernommen, zeigt das System Inhalte, die der Fragende nicht sehen darf — ein Datenschutzvorfall mit besserer Oberfläche.

Der dritte ist die Versionierung: Liegen mehrere Fassungen eines Dokuments im Bestand, kann eine überholte als aktuelle Antwort erscheinen. Das ist der gefährlichste stille Fehler, weil er nicht als Fehler aussieht.

Wovon ist das zu unterscheiden?

Fine-Tuning

Fine-Tuning verändert das Modell und ist teuer, langsam und bei jeder Aktualisierung zu wiederholen. RAG lässt das Modell unverändert und tauscht nur den Bestand — deshalb ist es für sich ändernde Inhalte die richtige Wahl.

Volltextsuche

Die Volltextsuche findet Dokumente mit den gesuchten Wörtern. RAG findet Stellen, die inhaltlich passen, und formuliert daraus eine Antwort mit Fundstelle.

Häufige Fragen

Braucht RAG besonders gepflegte Daten?+

Weniger, als meist befürchtet. Entscheidend ist nicht Perfektion, sondern dass die Dokumente auffindbar sind, die Zugriffsrechte stimmen und erkennbar ist, welche Fassung gilt. Ein vorgeschaltetes Datenaufräumprojekt verzögert um Monate und wird selten fertig.

Verhindert RAG Halluzinationen vollständig?+

Es reduziert sie erheblich, weil das Modell aus vorgelegtem Material antwortet statt aus dem Gedächtnis. Vollständig ausschließen lässt sich das nur durch die zusätzliche Regel: keine Aussage ohne Fundstelle, und bei fehlender Fundstelle keine Antwort.

Wie groß darf der Bestand sein?+

Nach oben praktisch unkritisch. Interessanter ist die Untergrenze: Bei wenigen tausend Dokumenten findet man das Gesuchte oft noch von Hand, und der Aufwand für Anbindung und Rechte trägt sich nicht.

Am eigenen Dokument statt an Definitionen

Begriffe helfen bei der Einordnung, nicht bei der Entscheidung. Schicken Sie uns ein typisches Dokument und drei Fragen dazu — Sie sehen das Ergebnis an Ihrem eigenen Material, bevor über Budget gesprochen wird.

Test anfragen