Die wichtigsten Punkte
- Der Vorfall: Ein von einem KI-Chatbot erstellter Geheimdienstbericht identifizierte fälschlicherweise ein chinesisches Schiff als Transporteur von Nuklearkomponenten und löste damit eine beinahe durchgeführte US-Militäroperation aus, bei der Spezialkräfte bereits zum Entern bereitstanden.
- Die beteiligte Technologie: Ein Analyst des Special Operations Command Pacific (SOCOM) nutzte einen KI-Chatbot sowohl zur Datenanalyse als auch zur formalen Abfassung des Berichts, wodurch sich der Fehler entlang der Befehlskette verstärkte.
- Die Auswirkung: Der Vorfall legt die Widersprüche der "KI-first"-Strategie des Pentagons offen und entfacht die Debatte über menschliche Kontrolle, Entscheidungsgeschwindigkeit und das Risiko einer unbeabsichtigten Eskalation mit China neu.
Die im letzten Moment gestoppte Operation
In diesem Frühjahr, während amerikanische Militärflugzeuge bereits in der Luft waren und bewaffnete Mitglieder der Spezialkräfte sich darauf vorbereiteten, ein chinesisches Schiff zu entern, entdeckten Verantwortliche in Washington, dass die der Operation zugrunde liegenden Geheimdienstinformationen falsch waren. Das enthüllt exklusiv CNN unter Berufung auf vier mit den Vorgängen vertraute Quellen. Der Bericht, der während des Krieges mit dem Iran verbreitet wurde, behauptete, das Schiff transportiere Komponenten für ein Nuklearprogramm im Nahen Osten.
Erst kurz vor der Abfangaktion, bei einer genaueren Prüfung des Dokuments, entdeckten die Beamten, dass der Bericht von einem SOCOM-Analysten mithilfe eines KI-Chatbots verfasst worden war. Das System hatte Open-Source-Erkenntnisse und geheime Signale zum Frachtmanifest des Schiffs fälschlicherweise verknüpft und die Ladung falsch identifiziert. Der Analyst hatte anschließend erneut die KI genutzt, um die fehlerhaften Erkenntnisse in einen formalen Bericht zu fassen, der über die offiziellen Befehlskanäle verbreitet wurde. Eine Quelle bezeichnete ihn als "durch und durch falsch"; eine andere erklärte, er habe "fast einen Krieg ausgelöst".
Ein Ministerium "KI zuerst"
Der Vorfall ereignet sich, während das Verteidigungsministerium sich selbst als "Kriegsministerium mit KI-first-Ansatz" bezeichnet, mit dem erklärten Ziel, die USA "KI-dominant" zu halten, wie aus dem Account des Pentagon-CTO hervorgeht. Verteidigungsminister Pete Hegseth hat die Absicht bekundet, "Experimente freizusetzen, bürokratische Hürden abzubauen, Investitionen zu fokussieren", wenn es um militärische KI geht. Ein ehemaliger hochrangiger Beamter merkte jedoch an, dass "die internen Werkzeuge größtenteils Kopien kommerzieller Produkte mit etwas Lippenstift" seien.
Das Hauptrisiko betrifft nicht nur den fehlerhaften Inhalt, sondern die Geschwindigkeit, mit der er sich verbreitet. Eine militärische Quelle fasste gegenüber CNN zusammen: "KI erlaubt es dir, schneller zu einer schlechten Idee zu gelangen", und fügte hinzu, dass "der Einsatz von KI bei der Zielerfassung zunimmt und es keine wirkliche Richtlinie dafür gibt, wie der Mensch im Entscheidungsprozess zivile Opfer oder Beschuss eigener Truppen verhindern soll". Das Phänomen erinnert an den bereits 1988 beobachteten "Automatisierungs-Bias", als das Aegis-System der USS Vincennes ein iranisches Verkehrsflugzeug fälschlicherweise als feindlichen Kampfjet einstufte und dabei 290 Zivilisten den Tod fanden.
Geschwindigkeit gegen Kontrolle
Jake Steckler, Armee-Veteran und Research Scholar bei GovAI, betont, dass Militärangehörige die "der Sprachmodelle innewohnende Unsicherheit verstehen müssen, besonders bei Entscheidungen, die zum Einsatz von Gewalt führen können", da es sich um Entscheidungen mit "Konsequenzen über Leben und Tod" handele. Er warnt zudem, dass eine Priorisierung der Einführungsgeschwindigkeit um jeden Preis zu Vorfällen führen wird, die das Vertrauen der Bediener in die Systeme selbst untergraben und letztlich deren Einsatz verlangsamen werden.
In derselben Woche forderten Wissenschaftler von Brookings und der Tsinghua-Universität öffentlich Schutzmaßnahmen für KI, vergleichbar mit jenen im nuklearen Bereich, sowie eine militärische Direktverbindung zwischen den USA und China. Die Trump-Administration wies alarmierende Szenarien zurück und bekräftigte, dass eine Verlangsamung der KI-Entwicklung das Risiko berge, gegenüber Peking an Boden zu verlieren.
Wer kontrolliert den nächsten Bericht
Emma Ashford vom Stimson Center brachte die Gefahr in einem viral gegangenen Satz auf den Punkt: "So wird uns die KI alle umbringen: nicht absichtlich, nicht bewusst, sondern indem sie einen dummen Fehler macht, den Menschen sich nicht die Mühe machen, doppelt zu überprüfen."
Es braucht weder autonome Roboter noch bewusste Systeme: Es genügt ein Analyst, der dem Werkzeug vertraut, ein glaubwürdig wirkender Bericht und eine Befehlskette unter Druck. In diesem Fall hat jemand das Dokument überprüft, bevor es zu spät war. Offen bleibt die Frage, wer den nächsten Bericht überprüfen wird.
