Künstliche Intelligenz halluziniert. Wenn man den Output unreflektiert für bare Münze nimmt, kann man böse Überraschungen im Backlog, in der Roadmap oder in den Stakeholder-Folien erleben. Hier findest du Tipps, wie du Fehler frühzeitig einfängst: wann du das von Hand tust und wie du es zuverlässig der Maschine überlässt, damit du nicht selbst zum Engpass wirst.
Das Tückische an Halluzinationen ist die Souveränität, mit der sie daherkommen: sauber formuliert, plausibel, mit erfundener Quelle garniert. Selbst die besten Modelle liegen 2026 noch in rund vier bis sechs Prozent der Fälle daneben, und man sieht es der Antwort nicht an.1 Wie teuer das wird, wenn niemand nachprüft, führt gerade die Justiz vor: über 1.300 Gerichtsverfahren, in denen sich Anwälte auf Urteile beriefen, die es gar nicht gab, ein Anwalt in Oregon mit 96.000 Dollar Strafe für 23 frei erfundene Zitate.2 Der Mann hat der Maschine geglaubt. Genau das ist der Fehler, den jemand in verantwortungsvoller Position nicht machen darf.
Wo kann's schief gehen?
Recherche. Du fragst nach Marktzahlen, Wettbewerbern, Studienlagen. Die Antwort klingt fundiert und nennt sogar Prozente. Nur existiert die Studie nicht, oder die Zahl stammt aus einem anderen Jahr, einem anderen Land, einer anderen Frage. Marktzahlen aus einem Chat gehören nie ungeprüft in ein Business Case.
Generierte Stories und Akzeptanzkriterien. Lässt du dir User Stories oder Akzeptanzkriterien schreiben, erfindet das Modell gern Edge Cases, die es bei euch gar nicht gibt, oder unterstellt Domänenlogik aus einem fremden Kontext. Kommt das ungelesen ins Ticket, baut das Team gegen eine Fiktion.
Kommunikation nach oben. Die gefährlichste Stelle. Eine geliehene Zahl im Steering-Deck, die niemand hinterfragt, weil sie von dir kommt. Wenn sie kippt, kippt dein Standing mit.
Human in the Loop: der Check von Hand
Für den einen heiklen Moment, die Zahl im Vorstands-Deck, das Versprechen an den Großkunden, prüfst du selbst:
- Quelle öffnen, nicht erfragen. "Nenn mir die Quelle" erfindet das Modell mit. Ruf den Link selbst auf und schau, ob auch Inhalt und Tenor übereinstimmen.
- Gegenprobe an etwas, das du kennst. Frag nach einer Zahl, die du sicher weißt. Liegt die daneben, ist der Rest auch verdächtig.
- Die Kontrollfrage. Würde ich das ohne die selbstsichere Formulierung auch glauben? Wenn eine Aussage nur überzeugt, weil sie so souverän klingt, nochmal doppelchecken.
Der Haken: Das skaliert nicht. Machst du das für jeden Output, wirst du zur Korrekturabteilung für mittelmäßige Ergebnisse. Genau das ist Workslop, und es ist messbar: 47 Prozent der Menschen, die regelmäßig mit AI arbeiten, verbringen inzwischen mehr Zeit mit Prüfen und Nachbessern als mit der eigentlichen Arbeit.3 Wer jeden Fakt von Hand kontrolliert, hat den Engpass nur verschoben, vom Erzeugen aufs Prüfen.
Human over the Loop: den Check automatisieren
Die Antwort ist nicht, gründlicher zu prüfen, sondern das Prüfen ins System zu bauen. Du sitzt nicht mehr als Kontrollpunkt in der Schleife, du baust den Kontrollpunkt und schaust von oben zu, das nennt man "over the loop". Für Fakten und Zitate heißt das: ein zweites Modell prüft jede AI-gestützte Aussage gegen ihre Quelle, automatisch, bevor sie dich überhaupt erreicht.
Der Prompt dafür, zum Kopieren:
Rolle: Du bist ein skeptischer Faktenprüfer. Deine Aufgabe ist NICHT, mir zuzustimmen, sondern Abweichungen zu finden. Im Zweifel markierst du. Input: [MEIN TEXT] + [QUELLE: Link oder eingefügter Inhalt] Prüfe getrennt: 1. Wörtliche Zitate: Kommt jedes Zitat aus meinem Text wortwörtlich in der Quelle vor? Zitiere die Fundstelle. Findest du sie nicht: "nicht belegt". 2. Sinn und Richtung: Gibt mein Text die Aussage der Quelle korrekt wieder, oder dreht / übertreibt / verkürzt er sie? Zitiere die relevante Passage der Quelle und stell sie meiner Formulierung gegenüber. Antworte pro Behauptung: [belegt / abweichend / nicht auffindbar] + Belegstelle. Keine Gesamteinschätzung, nur Fundstellen.
Warum "adversarial", nicht nur "prüfe"
Zwei Dinge machen diesen Prompt so richtig gut: die Anweisung, nicht zuzustimmen, und der Zwang, die Belegstelle zu zitieren. Ohne diese beiden Kniffe macht dein Prüf-Prompt womöglich das Gleiche, was dein Prompt vorher auch schon getan hat. Modelle sind auf Gefälligkeit trainiert. Ein neutrales "prüfe, ob Link und Dokument übereinstimmen" bekommt gerne mal ein "das deckt sich weitgehend", und die Abweichung rutscht durch. Der Prüfer produziert dann dasselbe selbstsichere Ja, nur eine Ebene höher.
Deshalb muss der Prüfer auf Widerlegen getrimmt sein, nicht auf Zustimmung. Das Werkzeug gegen Selbstsicherheit darf nicht selbst gefallen wollen. So baue ich meine eigenen Verifikations-Läufe: nicht ein Prüfer, der zustimmen darf, sondern mehrere Skeptiker mit dem Auftrag, Löcher zu finden.
Der Reflex, AI-Output zu prüfen statt zu glauben, und die Verschiebung von "selbst prüfen" zu "das Prüfen bauen", sind dieselbe Bewegung, die das Thesenpapier Der verschobene Engpass und der Artikel Wer prüft den ganzen Code? beschreiben: Erzeugen ist billig geworden, Verifizieren wird zur eigentlichen Arbeit.
In meinen Trainings sage ich es kürzer: Behandle AI-Output wie den Vorschlag eines brillanten, aber notorisch selbstsicheren Praktikanten. Nützlich, schnell, oft richtig. Aber unterschreiben tust du.
Quellen
- Talkory.ai / Suprmind: AI Hallucination Benchmark 2026 (Frontier-Modelle rund 4 bis 6 Prozent Halluzinationsrate), Juni 2026.
- GC AI: AI Hallucination Legal Cases – A Sanctions Tracker (über 1.300 Verfahren mit erfundenen Zitaten; Oregon-Fall 96.000 $), Stand Q2 2026.
- Boston Consulting Group: AI at Work 2026 (47 Prozent verbringen mehr Zeit mit Prüfen und Korrigieren als mit der Arbeit), 3. Juni 2026.