Was passiert, wenn ein KI-Agent Ihre Kreditkarte bekommt

Im Januar 2026 gab ein Entwickler einem KI-Agenten volle Kontrolle über ein Werbekonto mit 1.500 Dollar echtem Budget und einer echten Kreditkarte. 31 Tage lang entschied der Agent selbst über Anzeigenmotive, Landingpage-Varianten, Budgetverteilung, Pausieren und Skalieren. Der menschliche Aufwand lag bei etwa zwei Minuten pro Tag. Das Ergebnis: 1.493 der 1.500 Dollar ausgegeben, 243 Leads, 6,14 Dollar Kosten pro Lead bei einem selbst gesetzten Ziel von 2,50 Dollar. Nach der eigenen Definition des Betreibers also ein Misserfolg. Und trotzdem ist dieses Experiment für Führungskräfte lehrreicher als jede Erfolgsgeschichte, denn der größte einzelne Leistungseinbruch des ganzen Monats hatte eine überraschende Ursache: Nach 21 Tagen ohne Eingriff nahm der Mensch eine einzige manuelle Änderung vor. Die Kosten pro Lead sprangen auf über 50 Dollar. Das Konto erholte sich nie vollständig.

Die Einordnung gehört dazu: Es handelt sich um den detailliert dokumentierten Selbstbericht eines Betreibers mit Screenshots und Entscheidungsprotokollen, nicht um eine unabhängig geprüfte Studie.

Was der Agent gut machte, und was er zu spät prüfte

Autonome Agenten sind in der Ausführung stark und in der Zielkontrolle schwach. Der Ads-Fall zeigt beides sauber getrennt.

Auf der Habenseite: Der Agent testete rund 50 Anzeigenvarianten über acht Formatkategorien. Gewonnen haben die unaufwendigen, handgezeichneten Whiteboard-Motive, nicht die aufwendigen. Er entwickelte dabei Heuristiken, die ihm niemand programmiert hatte, darunter zwei, die jede Marketingabteilung unterschreiben würde. Die erste nannte er selbst den "Local Pizza Shop Test": Würde ein Pizzeria-Besitzer diese Anzeige verstehen und klicken? Wenn ja, ist sie zu generisch und wird neu geschrieben. Die zweite entstand, nachdem sich ein scheinbarer Durchbruch an Tag 20 als Attributionsrauschen entpuppt hatte: Einzeltagesdaten nie vertrauen, immer rollierende Siebentagesmittel verwenden.

Auf der Sollseite: Der Agent hatte ab Tag eins Zugriff auf Analysewerkzeuge, prüfte die Qualität der eingesammelten Leads aber erst an Tag 16. Dann stellte er fest, dass ein erheblicher Teil aus völlig falschen Zielgruppen kam, unter anderem Reinigungsfirmen und Recruiting-Agenturen. Zwei Wochen Budget waren zu diesem Zeitpunkt verbraucht. Der Agent hatte die ganze Zeit optimiert, nur eben auf die falsche Größe.

Das ist das eigentliche Muster: Der Agent optimiert exakt die Kennzahl, die Sie ihm geben, und nicht die, die Sie meinen.

Der bekanntere Fall: ein Shop, ein Monat, viele Rabatte

Anthropic hat dasselbe Experiment in größerem Maßstab mit sich selbst gemacht und offen darüber berichtet. Im Frühjahr 2025 betrieb ein KI-Agent einen echten Mini-Shop im Büro in San Francisco, mit Kühlschrank, Selbstbedienungskasse, E-Mail-Zugang zum Lieferanten, Websuche und einem Chatkanal für Kundenanfragen. Der erste Bericht dazu erschien im Juni 2025.

Was in Phase eins schiefging, liest sich wie eine Sammlung menschlicher Führungsfehler:

• Der Agent nannte Kunden ein Zahlungskonto, das er sich ausgedacht hatte.

• Ein Mitarbeiter bot 100 Dollar für ein Sixpack, das online etwa 15 Dollar kostet. Der Agent lehnte ab und wollte den Wunsch "für künftige Sortimentsentscheidungen im Auge behalten".

• Er verkaufte ein Getränk für 3 Dollar direkt neben einem Kühlschrank, in dem dasselbe Produkt gratis stand, und änderte das auch nach Hinweis nicht.

• Er ließ sich per Chat fortlaufend Rabatte abringen, gewährte sie rückwirkend und verschenkte Ware. Auf den Hinweis, 25 Prozent Mitarbeiterrabatt seien sinnlos, wenn 99 Prozent der Kunden Mitarbeiter sind, antwortete er zustimmend, kündigte Abschaffung an und gab wenige Tage später wieder Rabatte.

• Über zwei Tage hinweg halluzinierte er Gespräche mit einer nicht existierenden Ansprechpartnerin, behauptete, einen Vertrag persönlich in der Adresse der Simpsons unterschrieben zu haben, und wollte in blauem Blazer persönlich ausliefern.

In Phase zwei waren die Verlustwochen laut Anthropic "weitgehend eliminiert". Ein Teil davon geht auf ein stärkeres Modell zurück, das Anthropic als eine der wesentlichen Änderungen benennt. Die wirksamste Einzelmaßnahme war laut Anthropic aber, den Agenten zu festen Abläufen zu zwingen: Preisauskünfte und Lieferzeiten mussten recherchiert statt spontan genannt werden, Einkaufspreise wurden im System sichtbar, Zahlung erfolgte vor Lieferung über Zahlungslinks, jede Beschaffung brauchte menschliche Freigabe. Anthropic fasst den Befund selbst so zusammen: "we rediscovered that bureaucracy matters." Anthropics eigenes Gesamturteil bleibt trotzdem nüchtern: Die Lücke zwischen "fähig" und "vollständig robust" sei weiterhin groß.

Und selbst mit Leitplanken bleibt der Agent naiv gegenüber dem, was er nicht kennt: Als ein Mitarbeiter einen Preis-Lock-Kontrakt über 400 Pfund Zwiebeln vorschlug, erkannte weder der Agent noch eine zweite, vorgesetzte KI-Instanz ein Problem. Bis ein Mensch auf den Onion Futures Act von 1958 hinwies, der genau solche Kontrakte in den USA verbietet.

Die Zahl, die Sie einem Vorstand zeigen sollten

Prompt Injection ist die relevanteste Sicherheitslücke bei Agenten mit Browser- oder Postfachzugriff, und der Hersteller selbst veröffentlicht dazu Zahlen. Zum Start des Chrome-Agenten als Forschungsvorschau mit 1.000 Testnutzern im August 2025 berichtete Anthropic von adversarialem Testen mit 123 Testfällen über 29 Angriffsszenarien. Ohne Schutzmaßnahmen lag die Erfolgsquote der Angriffe im autonomen Modus bei 23,6 Prozent. Mit den eingeführten Maßnahmen sank sie auf 11,2 Prozent. Bei vier speziell browserbezogenen Angriffsarten, etwa versteckten Formularfeldern im Seitenquellcode oder Anweisungen im Tab-Titel, gelang die Absenkung von 35,7 Prozent auf null.

Zwei Dinge sollten Sie daraus mitnehmen. Erstens: Nach allen Schutzmaßnahmen bleibt im autonomen Modus etwa jeder neunte gezielte Angriff erfolgreich. Ein konkretes Beispiel aus dem Test war eine E-Mail mit dem Inhalt, aus Sicherheitsgründen müssten Nachrichten gelöscht werden, eine Bestätigung sei nicht nötig. Der Agent löschte die Nachrichten. Zweitens: Der Hersteller sperrt für seinen eigenen Agenten ganze Website-Kategorien, darunter Finanzdienstleistungen. Wer das liest und dem Agenten trotzdem Zahlungsmittel gibt, sollte das als bewusst eingegangenes Restrisiko dokumentieren, nicht als Produktivitätsmaßnahme verkaufen.

Der teuerste Vorfall dieser Kategorie ging übrigens gar nicht auf einen Agentenfehler zurück. Zwischen dem 8. und 18. August 2025 wurden über gestohlene Zugangstokens einer KI-Chatbot-Integration CRM-Daten systematisch abgefragt und exportiert, gezielt durchsucht nach weiteren Zugangsdaten. Die Google Threat Intelligence Group spricht von mehr als 700 potenziell betroffenen Organisationen. Der Agent hat nichts falsch gemacht. Die Integration war die Angriffsfläche.

Die Leitplanken, die tatsächlich wirken

Auffällig ist, wie wenig davon technisch ist. Sechs von sieben Punkten sind Führungsentscheidungen.

Selbstdiagnose: Fünf Fragen, bevor Sie einem Agenten Rechte geben

1. Welchen Betrag kann diese Anwendung maximal verursachen, technisch begrenzt, wenn niemand hinsieht?

2. Auf welche Kennzahl optimiert der Agent, und in welche Richtung würde er sich bewegen, wenn diese Kennzahl das Falsche misst?

3. Welche Handlungen sind irreversibel, und welche davon kann der Agent heute ohne Freigabe ausführen?

4. Wer bemerkt es, wenn der Agent seit drei Wochen den falschen Weg optimiert, und woran?

5. Welche Integration hängt am CRM oder Postfach, und wann wurde deren Zugangsberechtigung zuletzt geprüft?

Frage vier ist die, die im Ads-Experiment 16 Tage lang niemand gestellt hat.

Nächster Schritt

Im AI Leadership Intensive werden Agenten nicht abstrakt erklärt, sondern an Alltagsbeispielen aus Ihrem Betrieb: Freigabeprozesse, Morning-Briefing, wiederkehrende Auswertungen. Dazu gehört eine Selbsteinschätzungs-Skala von Ersetzung über Assistenz und Partnerschaft bis Orchestrierung, mit der jede Führungskraft für ihre eigenen Aufgaben bestimmt, welcher Autonomiegrad angemessen ist. Am Ende steht kein Toolvergleich, sondern eine Eskalations- und Freigabearchitektur, die auch dann noch gilt, wenn das nächste Modell erscheint.

Wenn Sie gerade überlegen, einem Agenten Zugriff auf ein System zu geben: Beschreiben Sie mir kurz den Fall, ich sage Ihnen, welche der sechs Leitplanken ich zuerst setzen würde.

Quellen

• Giorgio Liapakis: I Let Claude Code Autonomously Run Ads for a Month, Experiment Januar 2026, Beitrag letzte Aktualisierung August 2026, Selbstbericht des Betreibers. https://technically.dev/posts/claude-code-autonomous-ad-campaign

• Anthropic, Project Vend Phase 1, 27. Juni 2025. https://www.anthropic.com/research/project-vend-1

• Anthropic, Project Vend Phase 2, 18. Dezember 2025. https://www.anthropic.com/research/project-vend-2

• Anthropic, Claude for Chrome, Sicherheitsmaßnahmen und Angriffsquoten, 25. August 2025. https://claude.com/blog/claude-for-chrome

• Google Threat Intelligence Group zur Kompromittierung einer KI-Chatbot-Integration, August 2025, Aufbereitung Arctic Wolf. https://arcticwolf.com/resources/blog/widespread-salesforce-data-theft-via-compromised-salesloft-drift-oauth-tokens/

Stand: 2. September 2026