Der teuerste KI-Fehler ist ein Rechenfehler

Die spektakulärsten KI-Fehlschläge der letzten zwei Jahre waren keine technischen Fehler. Sie waren Rechenfehler. Im August 2025 nahm die Commonwealth Bank of Australia alle 45 Stellenstreichungen in der Direktbank-Kundenbetreuung zurück, die sie drei Wochen zuvor angekündigt hatte. Begründung im eigenen Statement: Die ursprüngliche Bewertung habe "nicht alle relevanten Geschäftsaspekte angemessen berücksichtigt, und dieser Fehler bedeutete, dass die Stellen nicht überflüssig waren". Die Bank hatte argumentiert, ein neuer Sprachassistent senke das Anrufvolumen um 2.000 Anrufe pro Woche. Die Gewerkschaft wies nach, dass die Volumina stiegen, dass Überstunden angeboten wurden und dass Teamleiter ans Telefon geschickt werden mussten. Der Bot funktionierte technisch. Die Zahl, mit der er begründet wurde, hielt keiner Prüfung stand. Für mittelständische Unternehmen ist das der relevanteste Fall im ganzen Feld, weil er nichts mit Modellqualität zu tun hat und alles mit Governance.

Warum die falschen Fälle diskutiert werden

Die öffentliche Debatte über KI-Scheitern arbeitet fast ausschließlich mit einer einzigen Zahl. Sie stammt aus dem Report "The GenAI Divide" von MIT Project NANDA aus dem Sommer 2025 und lautet: 95 Prozent der Organisationen erzielen mit generativer KI keinen Return. Diese Zahl steht in hunderten Fachartikeln, meist verkürzt auf "95 Prozent aller Pilotprojekte scheitern". Ich benutze sie nicht, und der Grund gehört in diesen Artikel.

Der Report ist nicht peer-reviewed und deklariert sich selbst als vorläufig. Die Basis sind laut Methodikteil strukturierte Interviews mit Vertretern von 52 Organisationen, Umfrageantworten von 153 Führungskräften, erhoben auf vier Branchenkonferenzen, und die Durchsicht von über 300 öffentlich dokumentierten KI-Initiativen. Wharton-Professor Kevin Werbach hat öffentlich erklärt, er könne nach mehrfachem Lesen nicht nachvollziehen, woher die 95 Prozent stammen, und Datenfreigabe oder Rückzug gefordert. Hinzu kommt: Die Autoren arbeiten an agentischen KI-Frameworks, und die Lösung, die der Report empfiehlt, ist ihr eigenes.

Es gibt eine belastbarere Zahl aus derselben Richtung. Gartner prognostizierte im Juni 2025, dass über 40 Prozent der agentischen KI-Projekte bis Ende 2027 eingestellt werden. Entscheidend ist, was in Gartners Ursachenliste steht und was nicht: genannt werden Kosten, unklarer Geschäftsnutzen und unzureichende Risikokontrollen. Modellfähigkeit steht nicht auf der Liste. Die Fehler liegen im Zuschnitt und in der Verantwortlichkeit.

Drei Rechenfehler, die alle dieselbe Struktur haben

Fehlgeschlagene KI-Vorhaben folgen einem wiederkehrenden Muster: Eine Größe wird gemessen, die leicht messbar ist, und dient als Beleg für eine Wirkung, die nicht gemessen wird.

Fehler eins: Die eingesparte Einheit ist nicht die relevante Einheit. Klarna meldete im Februar 2024 nach einem Monat Livebetrieb 2,3 Millionen bearbeitete Service-Chats, zwei Drittel des Gesamtvolumens, eine Lösungszeit von unter zwei statt elf Minuten und die Arbeitsleistung von 700 Vollzeitkräften. Geschätzte Ergebnisverbesserung: 40 Millionen US-Dollar. Im Mai 2025 ruderte CEO Sebastian Siemiatkowski im Bloomberg-Interview zurück und benannte die Ursache selbst: Kosten seien "ein zu dominanter Bewertungsfaktor" gewesen, "was man am Ende bekommt, ist niedrigere Qualität". Klarna rekrutierte wieder Menschen. Beide Aussagen sind wahr, die Effizienz und die Korrektur. Wer nur Kosten pro Ticket steuert, kauft Qualitätsverlust ein, ohne ihn im Dashboard zu sehen. Eine Randnotiz zur Redlichkeit: Die 700 waren immer eine Arbeitsäquivalenz-Angabe, keine Entlassungszahl. Viele deutsche Blogartikel verwechseln das.

Fehler zwei: Die Kostenseite hat keine Obergrenze. Im Juli 2025 löschte ein KI-Agent in einem laufenden Entwicklungsprojekt die Produktionsdatenbank, und zwar während eines ausdrücklich verhängten Änderungsstopps. Der betroffene Gründer dokumentierte, er habe elf Mal in Großbuchstaben untersagt, genau das zu tun. Der Agent legte anschließend rund 4.000 erfundene Personendatensätze an und behauptete, ein Rollback sei unmöglich, alle Datenbankversionen seien zerstört. Das war falsch, das Rollback funktionierte. Die Kostenseite desselben Vorfalls: 607,70 Dollar Zusatzkosten in dreieinhalb Tagen über einen 25-Dollar-Tarif hinaus, mit einer Hochrechnung von etwa 8.000 Dollar pro Monat.

Die Steigerung dazu lieferte im März 2026 ausgerechnet METR, eine Organisation, deren Kernaufgabe das Messen von KI-Risiken ist, öffentlich gemacht Ende August 2026. Eine schnell zusammengebaute Nebenanwendung hatte einen Fehler, der die Authentifizierung deaktivierte, statt zu sperren. Die Instanz stand tagelang offen im Internet. Ein Angreifer brachte den dort laufenden Agenten dazu, seinen API-Schlüssel herauszugeben, und verbrauchte über drei Wochen Modell-Credits im Wert von rund 600.000 Dollar. Niemand bemerkte es, weil die Organisation ohnehin sehr rechenintensiv arbeitet, weil die Credits gespendet und damit kostenlos waren und weil sich auf solche Schlüssel zu diesem Zeitpunkt kein Ausgabenlimit setzen ließ.

Fehler drei: Der Prozess wird automatisiert, bevor er dokumentiert ist. Anthropic ließ im Frühjahr 2025 einen KI-Agenten einen echten kleinen Shop im eigenen Büro betreiben und berichtete darüber ab Juni 2025. Phase eins verlief schlecht: Der Agent verlor Geld, verkaufte Ware unter Einkaufspreis, schlug ein Angebot von 100 Dollar für ein Sixpack aus, das online 15 Dollar kostet, nannte Kunden ein Zahlungskonto, das er sich ausgedacht hatte, und ließ sich per Chat fortlaufend Rabatte abringen. In Phase zwei waren die Verlustwochen nach eigener Auskunft "weitgehend eliminiert". Dazu trug ein Modellwechsel bei, den Anthropic ausdrücklich als eine der wesentlichen Änderungen nennt. Als besonders wirksam beschreibt Anthropic aber den Prozesszwang: Einkaufspreise im Inventarsystem sichtbar, Zahlungslinks vor Lieferung, Recherchepflicht statt spontaner Preisauskunft, jede Beschaffung mit menschlicher Freigabe. Die eigene Zusammenfassung dieses Befunds lautet: "we rediscovered that bureaucracy matters."

Die Gegenmaßnahme ist unspektakulär

Aus diesen Fällen ergeben sich fünf Regeln, die keine Technologie erfordern.

Die letzte Regel ist die unbequemste. Bei einer realistischen Grundscheiterrate im Bereich mehrerer Zehnprozentpunkte braucht ein seriöses Vorgehen Portfolio-Logik: Man plant nicht, dass jeder Pilot gelingt, sondern man legt vorher fest, woran man erkennt, dass einer beendet werden muss. Und man streicht ihn dann mit Begründung, nicht kommentarlos.

Selbstdiagnose: Fünf Fragen vor der nächsten KI-Investition

1. Welche Zahl belegt den Nutzen, und wer hat sie erhoben? Wenn es dieselbe Person ist, die das Vorhaben verantwortet, fehlt die Gegenprüfung.

2. Welche Qualitätskennzahl steht neben der Kostenkennzahl, und was passiert, wenn sie fällt?

3. Wie hoch ist das maximale monatliche Ausgabenrisiko dieser Anwendung, technisch begrenzt, nicht geschätzt?

4. Welches Ereignis führt zum Abbruch, und wer darf ihn ohne Rücksprache auslösen?

5. Ist der Prozess dokumentiert, den Sie automatisieren wollen? Wenn nein, automatisieren Sie eine Vermutung.

Nächster Schritt

Im AI Leadership Intensive ist genau das ein eigener Baustein: der Datenreife-Check mit einer Automatisierungs-Ampel je Use Case. Geprüft werden fünf Dimensionen, Prozessdokumentation, Datenzugänglichkeit, Entscheidungsklarheit, Wiederholung und Varianz sowie Fehlerkosten. Davor liegt eine Nullfrage: Bleibt dieser Prozess in sechs bis zwölf Monaten überhaupt relevant? Rot bedeutet Stop-Loss, dann wird der Rest gar nicht mehr geprüft. Das Ergebnis ist ein Dokument, das aussortierte Use Cases mit Begründung aufführt, nicht nur die attraktiven.

Wenn Sie einen Use Case haben, bei dem Sie unsicher sind, ob er reif ist: Schicken Sie mir eine Kurzbeschreibung, ich sage Ihnen, welche der fünf Dimensionen ich zuerst prüfen würde.

Quellen

• Commonwealth Bank of Australia, Rücknahme von 45 Stellenstreichungen, 21. August 2025, Berichterstattung ABC News. https://www.abc.net.au/news/2025-08-21/cba-backtracks-on-ai-job-cuts-as-chatbot-lifts-call-volumes/105679492

• Klarna, Pressemitteilung zum KI-Assistenten, 27. Februar 2024, Zahlen sind Eigenangaben des Unternehmens. https://www.klarna.com/international/press/klarna-ai-assistant-handles-two-thirds-of-customer-service-chats-in-its-first-month/

• Klarna, Kurskorrektur, Bloomberg-Interview mit Sebastian Siemiatkowski, 8. Mai 2025. https://www.bloomberg.com/news/articles/2025-05-08/klarna-turns-from-ai-to-real-person-customer-service

• Replit-Vorfall, Selbstbericht mit Screenshots, Juli 2025, Aufbereitung The Register. https://www.theregister.com/2025/07/21/replit_saastr_vibe_coding_incident/

• METR, Security Update zum Verlust von Modell-Credits, 31. August 2026. https://metr.org/blog/2026-08-31-security-update/

• Anthropic, Project Vend Phase 1 und 2, 27. Juni 2025 und 18. Dezember 2025. https://www.anthropic.com/research/project-vend-1 und https://www.anthropic.com/research/project-vend-2

• Gartner, Prognose zu agentischen KI-Projekten, Juni 2025.

Stand: 2. September 2026