Halluzination
Als Halluzination bezeichnet man eine erfundene Aussage, die ein Sprachmodell in überzeugender Form ausgibt — etwa eine Gerichtsentscheidung, die es nie gab, oder eine Vertragsklausel, die im Dokument nicht steht. Sie entsteht, weil das Modell die wahrscheinlichste Fortsetzung erzeugt und nicht zwischen erinnert und nachgeschlagen unterscheidet. Gefährlich ist sie nicht wegen ihrer Häufigkeit, sondern weil sie nicht als Lücke erkennbar ist.
Warum entstehen Halluzinationen überhaupt?
Ein Sprachmodell erzeugt Text, indem es fortlaufend die wahrscheinlichste Fortsetzung wählt. Es hat keinen Begriff davon, ob eine Angabe zutrifft — nur davon, ob sie plausibel klingt. Eine erfundene Aktenzeichennummer sieht formal genauso aus wie eine echte.
Verstärkt wird das durch die Erwartung an flüssige Antworten. Ein System, das nicht «weiß ich nicht» sagen darf, wird lückenhaftes Wissen zwangsläufig auffüllen — die Formulierungsaufgabe lässt ihm keine Wahl.
Was hilft dagegen tatsächlich?
Drei Maßnahmen, in dieser Reihenfolge. Erstens: aus vorgelegtem Material antworten statt aus dem Modellgedächtnis, also RAG. Zweitens: keine Aussage ohne Fundstelle — was sich nicht belegen lässt, wird nicht ausgegeben. Drittens: «weiß ich nicht» als zulässige und erwartete Antwort.
Die dritte Maßnahme wird am häufigsten übersehen und ist die wirksamste. Solange ein System immer antworten muss, produziert es genau die Aussagen, die später als erfundene Fundstelle auffallen.
Warum ist ein Vorfall so teuer?
Nicht wegen des einzelnen Fehlers, sondern wegen seiner Wirkung auf die Akzeptanz. Ein erfundenes Zitat, das jemandem im Haus auffällt, beendet das Vertrauen in das System dauerhaft — und mit ihm die Bereitschaft, weitere Anwendungsfälle anzugehen.
Deshalb ist die Belegpflicht keine Feineinstellung, sondern die Eintrittsbedingung für den Einsatz in einem Bereich, in dem Aussagen Folgen haben.
Wovon ist das zu unterscheiden?
Fehler in der Quelle
Steht eine falsche Angabe im Dokument und das System gibt sie mit Fundstelle wieder, ist das keine Halluzination, sondern ein Datenqualitätsproblem — und es ist nachvollziehbar, weil die Quelle benannt ist.
Veraltete Antwort
Eine überholte, aber real existierende Fassung ist keine Erfindung. Sie ist trotzdem gefährlich und wird durch die Ausgabe des Gültigkeitsstands abgefangen, nicht durch Halluzinationsschutz.
Häufige Fragen
Wie hoch ist die Halluzinationsrate?+
Die Frage führt in die Irre, weil sie vom Aufbau abhängt und nicht vom Modell. Bei freier Beantwortung aus dem Modellgedächtnis ist sie relevant; bei Antworten ausschließlich aus vorgelegtem Material mit Belegpflicht ist die Frage weitgehend gegenstandslos — dann gibt es entweder eine belegte Antwort oder keine.
Erkennt man Halluzinationen automatisch?+
Nur begrenzt. Der zuverlässige Weg ist nicht Erkennung, sondern Vermeidung durch Bauweise: Wo jede Aussage eine Fundstelle tragen muss, kann eine unbelegte Aussage gar nicht erst ausgegeben werden.
Sind neuere Modelle nicht längst zuverlässiger?+
Sie sind es, aber der Unterschied betrifft die Häufigkeit, nicht die Natur des Problems. Solange ein Modell frei formulieren darf, bleibt die Möglichkeit bestehen — und in einem Bereich mit Haftungsfolgen ist eine seltenere Erfindung immer noch eine Erfindung.
Verwandte Begriffe
Am eigenen Dokument statt an Definitionen
Begriffe helfen bei der Einordnung, nicht bei der Entscheidung. Schicken Sie uns ein typisches Dokument und drei Fragen dazu — Sie sehen das Ergebnis an Ihrem eigenen Material, bevor über Budget gesprochen wird.
Test anfragen