RAG-Projekt: was zwischen Idee und Produktivbetrieb liegt

Warum scheitert es fast nie am Modell?

Weil die Ergebnisqualität in Unternehmensanwendungen weit überwiegend aus der Aufbereitung entsteht. Ein besseres Modell auf schlechter Aufbereitung liefert schlechtere Ergebnisse als ein durchschnittliches auf guter. Die Modelldebatte ist die sichtbarste Entscheidung und selten die entscheidende.

Was tatsächlich über den Erfolg bestimmt, sind vier Stellen, die in keiner Präsentation vorkommen — und genau deshalb im Projekt zu spät angefasst werden.

Wie werden Dokumente zerlegt?

Das ist die unscheinbarste und folgenreichste Entscheidung. Wird stur nach Zeichenzahl geschnitten, zerreißt eine Tabelle mitten in der Zeile und ein Absatz mitten im Satz. Die Suche findet danach Bruchstücke, die keine vollständige Aussage mehr tragen — und das Modell antwortet aus Bruchstücken.

Brauchbar wird es, wenn die Struktur des Dokuments die Zerlegung bestimmt: Überschriften, Abschnitte, Tabellen als Einheit. Dazu gehört, was jedem Abschnitt mitgegeben wird — Dokumententitel, Überschrift, Gültigkeitsstand. Ein Abschnitt ohne diesen Kontext ist mehrdeutig, und Mehrdeutigkeit macht jede Suche unbrauchbar.

Praktischer Hinweis für den Pilot: Bei enttäuschenden Trefferquoten lohnt der Blick zuerst hierher, nicht auf das Modell.

Sind die Zugriffsrechte übernommen?

Die zweite Stelle, an der Projekte kippen — und die einzige, bei der ein Fehler nicht nur ärgerlich, sondern meldepflichtig ist. Werden die Berechtigungen nicht aus dem Bestandssystem übernommen, zeigt das System Inhalte, die der Fragende nicht sehen darf.

Wichtig ist dabei, dass die Rechteprüfung in der Suche stattfindet und nicht danach. Wird erst nachträglich gefiltert, kann ein Treffer bereits in die Antwort geflossen sein, den niemand sehen durfte. Das ist der Unterschied zwischen einer sauberen Architektur und einer nachträglich abgesicherten.

Wie wird mit mehreren Fassungen umgegangen?

In gewachsenen Beständen liegt fast immer mehr als eine Version desselben Dokuments: das Original, eine hausintern ergänzte Fassung, eine Kopie im Projektordner. Ohne Behandlung dieser Fälle kann eine überholte Fassung als aktuelle Antwort erscheinen.

Das ist der gefährlichste stille Fehler eines RAG-Systems, weil er nicht wie ein Fehler aussieht. Eine veraltete Wartungsvorschrift wirkt genauso richtig wie die gültige — nur der Stand unterscheidet sie, und der steht selten im Text.

Deshalb gehört der Gültigkeitsstand in jede Antwort, und bei sicherheitsrelevanten Angaben gilt: lieber keine Auskunft als eine Fassung, deren Gültigkeit nicht feststeht.

Wer darf sagen, dass es gut genug ist?

Die wichtigste Besetzung im Projekt und die am häufigsten offen gelassene. Ohne eine Person im Fachbereich, die verbindlich entscheiden darf, ob ein Ergebnis brauchbar ist, läuft die Rückmeldeschleife endlos weiter: Jede Runde bringt neue Anmerkungen, keine bringt eine Abnahme.

Diese Rolle lässt sich nicht durch Technik ersetzen und nicht durch uns übernehmen. Wenn die Frage «wer entscheidet das» im Haus schwierig zu beantworten ist, haben Sie das Wichtigste über Ihr Projekt bereits erfahren — vor der ersten Rechnung.

Was gehört in die Abbruchkriterien?

Vor dem Pilot festgelegt, nicht danach: Welche Trefferquote gilt als ausreichend, an welchen Fragen wird gemessen, wie viele unbeantwortete Fragen sind hinnehmbar, welcher Anteil falscher Antworten beendet den Versuch.

Der Grund ist unangenehm einfach. Ohne diese Schwellen diskutiert am Ende ein Kreis von Beteiligten über Eindrücke — und in dieser Diskussion gewinnt der lauteste Einzelfall, nicht das Gesamtergebnis. Gute Piloten werden so beendet, schlechte verlängert.

Was misst man, das nicht nach Erfolg aussieht?

Die Fragen ohne belegte Antwort. Sie wirken wie ein Versagen des Systems und sind die wertvollste Auswertung des ganzen Projekts: Sie zeigen, wo Wissen nicht dokumentiert ist — also wo der Betrieb von einzelnen Personen abhängt.

Diese Liste rechtfertigt für sich genommen oft schon den Pilot, selbst wenn das System danach nicht eingeführt wird. Sie ist die einzige belastbare Bestandsaufnahme des eigenen Wissens, die die meisten Häuser je erstellt haben.

Womit fängt man an?

Mit einem abgegrenzten Bestand und echten Fragen aus dem Tagesgeschäft — nicht mit dem gesamten Laufwerk und nicht mit Demofragen. Was Sie dafür brauchen, sind zwanzig Fragen, die in der letzten Woche tatsächlich jemand gestellt hat, und die Unterlagen, in denen die Antworten stehen sollten.

Die Begriffe dazu stehen im Glossar: RAG, Embedding, Kontextfenster. Der Ablauf einer Einführung samt Rollen und Aufwänden steht in KI einführen.