Ein Sprachmodell kennt das halbe Internet und nichts über eure Firma. RAG ist der Weg, ihm euren Kontext im Moment der Frage mitzugeben: Das Modell bekommt die passenden Firmen-Dokumente zur Frage dazugelegt und antwortet darauf. Als Product Owner musst du nicht wissen, wie das technisch läuft, sondern wann dein Team danach fragen sollte und was ihr dafür braucht.
Das Modell weiß alles, nur nichts über euch
Ein LLM hat gelernt, was bis zu einem Stichtag öffentlich im Netz stand. Euer Onboarding-Handbuch, das Preismodell von letzter Woche, die Architektur-Entscheidung aus dem letzten Sprint: alles nicht dabei. Und fragt ihr trotzdem, passiert das Ungünstigste, was passieren kann: Es antwortet trotzdem, souverän und daneben. Bei Fragen zu internen Dingen ist die Halluzinationsrate am höchsten, weil das Modell die Wissenslücke mit Plausiblem auffüllt. Nicht aus Bosheit, sondern weil es nichts anderes hat.
RAG legt eurer Frage die passenden Dokumente bei
RAG steht für Retrieval-Augmented Generation, und der Kern ist simpler als der Name. Zu jeder Frage sucht ein System vorab die passenden Stellen aus euren eigenen Dokumenten heraus und legt sie der Frage bei, bevor das Modell antwortet. Das Modell erfindet die Antwort dann nicht mehr aus dem Gedächtnis, es liest sie aus dem mitgelieferten Kontext ab und formuliert sie aus. Ein guter Nebeneffekt: Viele Systeme nennen die Quelle gleich mit, ihr könnt also nachschlagen, woher die Antwort stammt. Aus dem allwissenden Fremden wird ein Kollege, der eure Unterlagen vor sich liegen hat.
RAG ist nicht Fine-Tuning
Die häufigste Verwechslung im Raum. Fine-Tuning heißt, ein Modell nachzutrainieren: aufwendig, verändert das Verhalten, und veraltet mit jedem neuen Dokument, das ihr danach schreibt. RAG trainiert nichts. Euer Wissen bleibt in euren Dokumenten und aktualisiert sich mit ihnen, ihr ändert eine Datei und die nächste Antwort ist auf dem neuen Stand.
Für den Wunsch "das Modell soll unsere Inhalte kennen" ist RAG fast immer der Weg. Fine-Tuning lohnt sich für Stil, Format oder Ton, nicht für Faktenwissen. Die Unternehmen haben das längst entschieden: Schon 2024 lief RAG in 51 Prozent der produktiven AI-Einsätze, ein nachtrainiertes Modell in 9.1 Die Faustregel: erst RAG, schnell in Produktion, Fine-Tuning nur, wenn danach ein konkretes Verhaltensproblem übrig bleibt.2 In meiner eigenen Firma arbeiten neun AI-Agenten mit unseren Dokumenten, ohne dass ich je ein Modell nachtrainiert hätte. Sie bekommen den Kontext zur Laufzeit.
RAG lohnt sich bei wiederkehrenden Fragen und scheitert an schlechten Daten
Es lohnt sich, wo dieselben Fragen immer wieder an einen wachsenden Dokumentenberg gehen: ein Support-Assistent auf Handbuch und Tickets, oder das interne Nachschlagen, wenn niemand mehr weiß, in welchem Confluence-Eck die Reisekostenregel steht.
Es scheitert an der Datenqualität. Gartner rechnet damit, dass Firmen bis 2026 rund 60 Prozent ihrer AI-Vorhaben aufgeben, weil die Daten nicht dafür taugen.3 Liegen drei widersprüchliche Versionen des Handbuchs herum, zieht RAG zuverlässig die falsche.
New York City hat das öffentlich vorgeführt: Der offizielle Business-Chatbot der Stadt, gestützt auf städtische Dokumente, erklärte Arbeitgebern, sie dürften Trinkgelder ihrer Angestellten einbehalten, und Vermietern, sie dürften Mieter mit Wohngutscheinen ablehnen. Beides ist in New York illegal.4 Der Bürgermeister ließ den Bot trotzdem weiterlaufen. Ein Assistent auf euren eigenen Dokumenten ist also noch keine Garantie, er ist nur so gut wie die Dokumente und die Prüfung dahinter. Und was überhaupt ins System darf, ist eine Datenschutzfrage, dafür gibt es die Daten-Ampel. Als PO verlangst du deshalb nicht die Architektur, sondern zwei Dinge: aufgeräumte, aktuelle Quellen, und eine Freigabe, welche Daten das Tool sehen darf.
Wie sich Wert verschiebt, wenn Erzeugen billig und der Kontext zur eigentlichen Arbeit wird, steht im Thesenpapier Der verschobene Engpass.
In meinen Trainings sage ich es so: RAG macht das Modell nicht schlauer. Es schlägt ihm nur die richtige Seite auf.
Quellen
- Menlo Ventures: 2024: The State of Generative AI in the Enterprise (RAG in 51 Prozent der produktiven AI-Einsätze, nachtrainiertes Modell in 9; rund 600 befragte Unternehmen), 2024.
- Atlan: Fine-Tuning vs. RAG: When to Use Each (Entscheidungsrahmen: erst RAG, Fine-Tuning nur für Verhalten), 2026.
- Gartner: Lack of AI-Ready Data Puts AI Projects at Risk (60 Prozent der AI-Projekte bis 2026 ohne AI-taugliche Daten aufgegeben), 26. Februar 2025.
- The Markup: NYC's AI Chatbot Tells Businesses to Break the Law (MyCity-Chatbot riet zu Gesetzesverstößen), 29. März 2024.