Glossar

RAG (Retrieval-Augmented Generation)

RAG ist ein Verfahren, bei dem ein Sprachmodell vor der Antwort in festgelegten Dokumenten nachschlägt und die Fundstelle mitliefert. Der Unterschied zum reinen Modellwissen ist die Belegbarkeit: Jede Antwort lässt sich an der genannten Stelle im Original nachprüfen. Für Unternehmen ist das der Standardaufbau, weil er aktuelle interne Informationen nutzbar macht, ohne das Modell zu verändern.

Wie funktioniert das im Ablauf?

Die Frage wird zuerst in eine Suche über den eigenen Bestand übersetzt. Gefunden werden nicht Dokumente als Ganzes, sondern einzelne Abschnitte, die inhaltlich zur Frage passen — auch wenn dort andere Wörter stehen als in der Frage.

Diese Abschnitte werden dem Modell zusammen mit der Frage vorgelegt. Es soll die Antwort nur aus diesem Material formulieren und die Fundstelle nennen. Findet die Suche nichts Passendes, sagt ein gut gebautes System genau das, statt eine Antwort zu erfinden — das ist die wichtigste Regel des Verfahrens. Blind verlassen kann man sich darauf nicht: Auch mit Vorlage kann ein Modell eine Stelle falsch wiedergeben.

Warum ist das für Unternehmen der Normalfall?

Weil interne Informationen sich laufend ändern und ein Modell sie nicht kennen kann. Ein Handbuch von letzter Woche, eine geänderte Richtlinie, ein neuer Vertrag: RAG bezieht sie ein, sobald sie im Bestand liegen, ohne dass am Modell etwas geändert wird.

Der zweite Grund ist die Nachweisbarkeit. In regulierten Bereichen ist eine Antwort ohne Quellenangabe wertlos, und ein RAG-System liefert die Quelle zur Antwort mit — das ist im Aufbau angelegt, keine nachgerüstete Zusatzfunktion.

Woran scheitert RAG in der Praxis?

Fast nie am Modell, meist an der Aufbereitung: Wenn Dokumente ungünstig zerlegt werden, zerreißt eine Tabelle oder ein Absatz mitten im Satz, und die Suche findet Bruchstücke ohne Zusammenhang.

Der zweite Punkt sind die Zugriffsrechte. Werden sie nicht aus dem Bestandssystem übernommen, zeigt das System Inhalte, die der Fragende nicht sehen darf — ein Datenschutzvorfall mit besserer Oberfläche.

Der dritte ist die Versionierung: Liegen mehrere Fassungen eines Dokuments im Bestand, kann eine überholte als aktuelle Antwort erscheinen. Das ist der gefährlichste stille Fehler, weil er nicht als Fehler aussieht.

Wovon ist das zu unterscheiden?

Fine-Tuning

Fine-Tuning verändert das Modell und ist teuer, langsam und bei jeder Aktualisierung zu wiederholen. RAG lässt das Modell unverändert und tauscht nur den Bestand — deshalb ist es für sich ändernde Inhalte die richtige Wahl.

Volltextsuche

Die Volltextsuche findet Dokumente mit den gesuchten Wörtern. RAG findet Stellen, die inhaltlich passen, und formuliert daraus eine Antwort mit Fundstelle.

Häufige Fragen

Braucht RAG besonders gepflegte Daten?+

Weniger, als meist befürchtet. Entscheidend ist nicht Perfektion, sondern dass die Dokumente auffindbar sind, die Zugriffsrechte stimmen und erkennbar ist, welche Fassung gilt. Ein vorgeschaltetes Datenaufräumprojekt verzögert um Monate und wird selten fertig.

Verhindert RAG Halluzinationen vollständig?+

Nein. Es reduziert sie, weil das Modell aus vorgelegtem Material antwortet statt aus dem Gedächtnis. Ausschließen lassen sie sich nicht: Auch mit Vorlage kann ein Modell eine Stelle falsch lesen oder falsch wiedergeben. Deshalb gehören zwei Regeln dazu — keine Aussage ohne Fundstelle, keine Antwort, wenn nichts gefunden wurde —, und die genannte Stelle sollte man im Original nachlesen.

Wie groß darf der Bestand sein?+

Nach oben praktisch unkritisch. Interessanter ist die Untergrenze: Bei wenigen tausend Dokumenten findet man das Gesuchte oft noch von Hand, und der Aufwand für Anbindung und Rechte trägt sich nicht.

Prüfen Sie es an Ihrem Bestand

Ob RAG bei Ihnen trägt, entscheidet nicht das Verfahren, sondern der Bestand. Geben Sie uns einen abgegrenzten Ausschnitt und drei Fragen, die dort beantwortet sein sollten — die Trefferquote sehen Sie an eigenem Material.

Test anfragen

Zuletzt aktualisiert: 28. September 2026