Ein LLM denkt nicht, und es weiß nichts. Es sagt das statistisch wahrscheinlichste nächste Wort, eins nach dem anderen. Wer das verinnerlicht hat, entscheidet im PO-Alltag souveräner, wann er der Maschine trauen kann und wann er zweimal hinschaut.
Das nützlichste Bild ist die Autovervollständigung auf dem Handy, nur ins Gigantische gedreht. Deine Tastatur schlägt nach "Ich bin gleich" das Wort "da" vor, weil sie das oft gesehen hat. Ein Sprachmodell macht dasselbe, hat aber fast das ganze öffentliche Internet gelesen und rät nicht ein Wort, sondern einen ganzen Text. Bei jedem Wort fragt es: Was passt hier am plausibelsten als Nächstes? Nicht: Was ist wahr?
Ein LLM rät das nächste Wort, es schlägt nicht in einem Wissensspeicher nach
Es gibt im Modell keine Faktentabelle, die es abfragt. Wissen steckt nur als Muster in den neuronalen Netzen aus denen es besteht, mit ihren Verknüpfungen und Gewichten.1 Wenn "Die Hauptstadt von Frankreich ist" in den Trainingsdaten tausendfach mit "Paris" weiterging, sagt das Modell zuverlässig "Paris". Nicht, weil es Geografie versteht, sondern weil das die wahrscheinlichste Fortsetzung ist.
Genau darum erfindet ein Modell so souverän: Eine erfundene Quelle klingt für die Statistik völlig richtig, denn sie liest sich wie eine seriöse Quelle. Derselbe flüssige Ton, der richtige Antworten überzeugend macht, macht auch die falschen überzeugend. Deshalb ist die Souveränität einer Antwort kein Signal für ihre Richtigkeit (Halluzinationen abfangen).
Schnell eine lustige Geschichte: Air Canada hat einen Chatbot gebaut, und dieser Chatbot erfand eine Erstattungsregel für Trauerfälle. Ein Kunde buchte, flog nicht, wollte erfolglos sein Geld wiederhaben, ging vor's Gericht, und das verurteilte die Airline dazu, für die erfundene Regel geradezustehen.2 Der Einwand, der Chatbot sei "eine eigene juristische Person, verantwortlich für ihre eigenen Handlungen", wurde abgewiesen und machte den Fall erst berühmt. Der Bot hatte getan, wofür er gebaut war: eine plausible Antwort formuliert. Eigene Erfahrung: bei Check24 hat mir neulich der Chatbot hoch und heilig versprochen, dass meine Schwägerin während ihres Kurztrips aus den USA mitversichert wäre bei unserer Autoversicherung, obwohl der Schutz schon vor Jahren abgelaufen war. Es war auch nirgendwo im Chatbot ein Halluzinationshinweis zu finden. Vielleicht sollten die von Check24 da nochmal drüber nachdenken ;-)
Wo "plausibel" und "gut" dasselbe sind, ist das Modell stark
Umformulieren, entwerfen, den Ton treffen, übersetzen, Struktur in ein Gedankenchaos bringen: Bei diesen Aufgaben fällt das, worauf das Modell hinarbeitet (der plausibelste Text), mit dem zusammen, was du brauchst (ein gut formulierter Text). Die holprige User Story neu schneiden, das Stakeholder-Update aus Stichpunkten ziehen: Das ist keine Glückssache, die Aufgabe verlangt genau das, worauf das Modell trainiert wurde. In meinen Trainings ist das der Moment, in dem auch Skeptiker den Nutzen sehen.
Wo "plausibel" und "richtig" auseinanderfallen, kippt es
Sobald die plausibelste Fortsetzung von der richtigen abweicht, gewinnt die plausibelste. Das Prinzip in einem Bild: Bitte einen Bildgenerator um eine Uhr, die 4:37 zeigt, und du bekommst fast immer 10:10. Uhren werden seit Jahrzehnten auf 10:10 fotografiert, die Zeiger rahmen dann symmetrisch das Logo, und Millionen solcher Werbefotos schlagen deine eine Anweisung.3
Wir haben es für diesen Artikel ausprobiert, und das Ergebnis ist ulkiger als die Theorie: Die Zeiger stehen, wo sie wollen, aber die bestellte 37 mogelt sich trotzdem ins Bild. Das Modell hat gelernt, dass die 37 vorkommen soll. Was die 37 im Kontext bedeutet, versteht es hingegen nicht.
Fünf Stellen, an denen dir dasselbe im Alltag passiert:
Harte Fakten. Marktzahlen, Studien, Zitate, Namen. Das Modell liefert eine plausible Zahl, nicht die geprüfte. Ins Business Case gehört sie erst nach eigener Kontrolle.
Rechnen. Ein LLM sagt beim Rechnen die vorderste Ziffer des Ergebnisses, bevor es die hinteren kennt, weil es Wörter aneinanderreiht statt zu rechnen.4 Für exakte Zahlen gehört ein Taschenrechner, eine Formel oder ein Code-Werkzeug dazu, nicht das Sprachmodell allein.
Aktuelles. Modelle kennen die Welt nur bis zu ihrem Trainingsstand, bei den aktuellen Generationen etwa bis Anfang 2026.5 Was danach passiert ist, weiß das Modell nur, wenn es im Web nachschlägt oder du es ihm in den Prompt gibst.
Euer Firmenwissen. Eure Roadmap, das Confluence, die Jira-Historie, die letzte Retro: All das steckt nicht im Modell. Wenn du nicht danach fragst und die Quelle mitlieferst, rät es sich eine plausible Version zusammen. Wie ihr dem Modell euer Wissen systematisch mitgebt, steht in Firmenwissen und RAG.
Treue zur Quelle. Eine Zusammenfassung sieht aus wie eine reine Sprachaufgabe, hat aber einen Wahrheitskern: Sie muss wiedergeben, was in der Quelle steht. Ob im eingedampften Transkript die entscheidende Einschränkung aus Minute 43 fehlt, sieht man den zehn glatten Zeilen nicht an. Und je länger das Original, desto höher die Fehlerquote, und desto seltener liest jemand nach.
An diesen fünf Stellen produziert das Modell dieselbe selbstsichere Antwort wie bei einer Umformulierung. Nur stimmt sie nicht automatisch.
Die Faustregel: hat die Aufgabe einen Wahrheitskern?
Bevor du einen Output übernimmst, eine Frage: Muss hier irgendetwas stimmen, eine Zahl, ein Name, ein Datum, etwas Firmeninternes, die Treue zu einer Quelle? Wenn nein, arbeite weiter. Wenn ja, prüf genau diese Stelle oder gib dem Modell die Quelle mit, statt es raten zu lassen.
Frag das Modell nach Sprache, nicht nach Wahrheit. Für die Wahrheit bist du zuständig, oder eine Quelle, die du selbst geöffnet hast.
Dasselbe Grundbild trägt auch das größere Ganze: Ein Modell, das billig plausiblen Text erzeugt, verschiebt die eigentliche Arbeit vom Erzeugen aufs Entscheiden und Prüfen. Genau das beschreibt das Thesenpapier Der verschobene Engpass. Und wie du die Fehler abfängst, bevor sie in Backlog oder Steering-Deck landen, steht in Halluzinationen abfangen.
Quellen
- Sebastian Raschka: How does next-token prediction train a large language model? (wie ein LLM Text als Next-Token-Prediction erzeugt).
- CBC News: Air Canada found liable for chatbot's misinformation (Moffatt v. Air Canada, Civil Resolution Tribunal BC), 16. Februar 2024.
- Monochrome Watches: The 10:10 position of hands is so deeply rooted that AI can only generate this (Bildgeneratoren liefern die Werbe-Uhrzeit statt der verlangten).
- Scoop Analytics: Why LLMs struggle with basic math (Ziffernreihenfolge, Plausibilität statt Exaktheit), 2026.
- metehan.ai: LLM Knowledge Cutoff Dates (Trainingsstand der aktuellen Modelle etwa bis Anfang 2026), Juni 2026.