Die AI-Initiative kommt ins Rollen? Glückwunsch! Aber wie und wo anfangen? Denn zehn parallele Experimente beweisen gar nichts. Ein gutes Experiment mit Zahlen beweist alles. Wie ihr das perfekte AI-Experiment auswählt und sauber messt, um danach zu wissen, was euch AI bringt.
Es tut sich was
Aus dem schlechten Gewissen von Anfang des Jahres ("wir wissen ja, dass wir AI mal richtig angehen sollten") werden ernstgemeinte Initiativen mit Budget und Verantwortlichen. Organisationen nehmen also gerade Fahrt auf.
Allerdings: Fahrt aufnehmen heißt noch nicht ankommen. Laut MIT bleiben 95% der GenAI-Piloten ohne messbaren Effekt aufs Geschäftsergebnis, und laut S&P Global hat sich der Anteil der Unternehmen, die die Mehrheit ihrer AI-Initiativen wieder einstampfen, binnen eines Jahres von 17% auf 42% mehr als verdoppelt. Woran es liegt, sagt die MIT-Studie auch: nicht an den LLM-Modellen, sondern daran, dass die Piloten nie im Arbeitsalltag ankommen.
Ob eine Initiative Erfolg hat, hängt maßgeblich von drei Parametern ab: der Richtung, der Auswahl und dem Messen.
Grassroots oder Top-down?
Zuerst die Richtung: das Thema von unten wachsen lassen oder von oben vorgeben? Ein Grassroots-Approach wird meistens getrieben von Leuten mit unglaublicher Motivation und Energie. Viel zu oft allerdings versanden solche Initiativen wieder, werden nicht von der Organisation übernommen, skalieren nicht. Es braucht den Top-down-Rahmen, weil AI-Experimente auf den Business Case einzahlen sollten: auf Ziele, die eure Organisation ohnehin verfolgt.
Eine Organisation, die ich kenne, macht das vor. Ihr großes Ziel heißt Dunkelverarbeitung steigern: Neue Kundenverträge sollen automatisch durchs System laufen, ohne dass ein Sachbearbeiter sie anfasst. An so einem Ziel können viele einzelne Initiativen andocken – jede weiß, worauf sie einzahlt, und jeder Fortschritt wird in derselben Währung (Prozentpunkte Dunkelverarbeitung) gemessen. Eure Version kann anders heißen: Angebotsdurchlaufzeit, Onboarding-Dauer, Zeit bis zur Ticket-Lösung.
Entscheidend ist, dass es diese Ziele gibt. Denn ohne diesen Rahmen entstehen genau diese gut gemeinten Wildwuchs-Experimente, die niemand mit einem Unternehmensziel verknüpfen kann. Eine Idee ist eben noch kein Use Case. Ein Use Case hat eine konkrete Aufgabe, einen Verantwortlichen, eine Messlatte – und ein Ziel, auf das er einzahlt.
Drei Spielfelder
Worauf kann AI überhaupt einzahlen? Es hilft, drei Spielfelder auseinanderzuhalten:
- Interne Abläufe, Organisationsebene. Durchgehende Prozesse wie die Dunkelverarbeitung: Vorgänge, die langsam sind, mit vielen Bruchstellen, durch viele Hände laufen und es nicht müssten.
- Interne Abläufe, Arbeitsebene. Die tägliche Arbeit Einzelner und ihrer Teams: die Handgriffe, die ich Product Ownern beibringe (Discovery-Auswertung, Stories schneiden und schreiben, Stakeholder-Zusammenfassungen), oder eine Coding-Testing-Ops-Pipeline aus Agenten, die Entwicklern die Routinearbeit abnimmt (warum sich dort gerade viel verschiebt: Wer prüft den ganzen Code?). Hier tummeln sich viele gute Kandidaten, weil hier ohne Prozessumbau gemessen werden kann.
- Produktebene. AI ins eigene Produkt einbauen, damit die Prozesse eurer Kunden besser, angenehmer, effizienter werden. Strategisch der größte Hebel, man muss aber sauber mit Kundendaten umgehen und sich bewusst sein, dass jeder Fehler der AI auf die Organisation zurückfällt.
Für den ersten Use Case empfehle ich Spielfeld 1 oder 2: Dort sind Baseline und Effekt in Wochen messbar. Für Spielfeld 3 lohnt es sich, erst mal intern Erfahrung gesammelt zu haben, was AI kann und wo sie Prüfschleifen braucht.
Auswählen: vier Kriterien
Innerhalb eures Rahmens gilt nun: nehmt nicht die spektakulärste Idee. Nehmt die Aufgabe, die heute am meisten Zeit frisst. Vier Kriterien, alle vier müssen erfüllt sein:
- Wiederkehrend. Die Aufgabe kommt jede Woche wieder. Einmal-Aufgaben beweisen nichts, weil sich der Effekt nicht wiederholen lässt.
- Zeitfressend. Der heutige Aufwand ist spürbar. Wer eine Fünf-Minuten-Aufgabe automatisiert, hat am Ende einen Erfolg, der zu klein ist, um irgendjemanden zu überzeugen.
- Messbar. In Stunden, Euro oder Durchlaufzeit. "Bessere Qualität" ist ein schönes Ziel, aber für den ersten AI-Use-Case eine schlechte Messlatte.
- Daten unkritisch. Der Fall kommt mit Daten aus, die in der Daten-Ampel in einer grünen Zelle stehen. Der erste Use Case soll den Nutzen beweisen – nicht nebenbei eure Datenschutz-Grundsatzfragen klären (die Büchse der Pandora).
Prima Kandidaten sind: Erstentwürfe für Tickets, Angebote, Berichte, die Auswertung von Support-Anfragen oder Interview-Notizen. Alles unspektakulär. Genau deshalb funktioniert es.
Messen: die Baseline kommt zuerst
Der häufigste Messfehler ist nicht die falsche Metrik, sondern gar keine: Der Pilot startet, vier Wochen später gibt es Meinungen statt Zahlen. Deshalb gilt: Erst die Ausgangslage messen, dann starten. Das Rezept:
- Baseline stoppen. Zwei Wochen lang festhalten, wie lange die Aufgabe heute dauert – an echten Fällen, nicht geschätzt.
- Eine Metrik festlegen. Eine einzige, simpel: Minuten pro Vorgang, Vorgänge pro Woche, Tage bis zur Antwort.
- Vier Wochen mit AI arbeiten. Gleiche Aufgabe, gleiche Leute, dann nachmessen: gleiche Metrik, gleiche Art von Fällen. Dazu eine Strichliste zur Qualität: War das Ergebnis im ersten Anlauf brauchbar, oder musste jemand nacharbeiten?
Das ist kein Data-Science-Projekt. Stoppuhr und Strichliste reichen für den ersten Fall völlig. Und ihr müsst das Rad dafür nicht neu erfinden: Definiert euer Experiment mit der simplen Test Card von Strategyzer. Für ein Angebots-Beispiel ausgefüllt sieht sie so aus:
- HypotheseWir glauben, dass wir Angebotsentwürfe mit AI-Unterstützung in einem Drittel der heutigen Zeit erstellen, bei gleicher Qualität.
- TestUm das zu prüfen, stoppen wir zwei Wochen lang die Ist-Zeiten und erstellen danach vier Wochen lang alle Angebote mit AI.
- MetrikWir messen Minuten pro Angebot und den Anteil der Entwürfe, die ohne Nacharbeit rausgehen.
- KriteriumWir liegen richtig, wenn die Zeit pro Angebot mindestens um die Hälfte sinkt und die Nacharbeitsquote nicht steigt.
Beweisen: der zweite Use Case finanziert sich selbst
Die Daten, die ihr aus dem Experiment zieht, bringen euch von der Glaubensfrage "Bringt AI bei uns was?" zur Investitionsfrage "Wo als Nächstes?". Der zweite Use Case braucht keine Überzeugungsarbeit mehr. Wie viel Potential drin ist, zeigt eine aktuelle BCG-Studie:
Vier von zehn regelmäßigen AI-Nutzern sparen einen vollen Arbeitstag pro Woche. Zwei Drittel wissen nicht, wohin damit.
Ein Schritt gehört noch dazu: macht nach jedem Experiment eine kleine Retrospektive: Was hat auf den Erfolg eingezahlt – Datenlage, Beteiligte, Prüfschleifen – und nutzt das als Muster für das nächste AI-Experiment.
Warum der Engpass für AI dabei längst nicht mehr im Bauen liegt, sondern im Entscheiden, ist das Thema meines Thesenpapiers Der verschobene Engpass – das ganze Bild hinter diesem Leitfaden.
Typische Fehler
- Experimente ohne Ziel. Überall sprießen Grassroots-Piloten, aber keiner zahlt erkennbar auf ein Organisationsziel ein: Einzelne werden schneller, die Organisation merkt nichts davon.
- Das Prestige-Projekt. Der Kunden-Chatbot fürs Schaufenster statt der Alltagsaufgabe: hohe Sichtbarkeit, kritische Daten, lange Wege – und nach sechs Monaten geht's immer noch nicht. Das ist die Sorte Pilot, aus der die 42% Abbrecher-Quote gemacht ist.
- Der Pilot ohne Baseline. Wer die Ausgangslage nicht gemessen hat, kann hinterher nichts beweisen. Bauchgefühl überzeugt kein Budget-Meeting.
- "Wir evaluieren erst mal Tools." Monatelange Vergleichsmatrizen, während kein einziger Fall zu Ende kommt. Das Werkzeug ist selten der Engpass: Nehmt ein freigegebenes Tool und fangt an. Ein Tool-Wechsel ist später billig, die verlorenen Monate sind es nicht. MVP Style :-)
- Zehn Piloten parallel. Fühlt sich nach Fortschritt an, verteilt aber Aufmerksamkeit, Budget und Geduld auf zehn Baustellen. Fokus ist King.
Der schnellste Weg von "viele Ideen" zu "ein Ergebnis"
Ein Use-Case-Workshop mit euren Entscheidern: einen Tag investieren, mit priorisierter Liste, Messlatte und einem klaren nächsten Schritt rausgehen. Oder erst einmal klären, wo ihr überhaupt steht.
Quellen
- MIT NANDA: The GenAI Divide – State of AI in Business 2025 (August 2025; 150 Interviews, 350 Befragte, 300 analysierte Deployments; via Fortune)
- S&P Global Market Intelligence: Voice of the Enterprise – AI & Machine Learning, Use Cases 2025 (1.006 Befragte; 42% der Unternehmen beenden die Mehrheit ihrer AI-Initiativen, im Vorjahr 17%)
- BCG: AI at Work 2026 – Why Strategy Matters More Than Tools (Juni 2026; 11.749 Befragte, 14 Märkte)
- Strategyzer: Business Testing – Test Card (Format aus David J. Bland / Alexander Osterwalder: "Testing Business Ideas")