Punti Chiave
- L'episodio: Un report di intelligence generato da un chatbot AI ha erroneamente identificato una nave cinese come trasportatrice di componenti nucleari, innescando una quasi-operazione militare americana con forze speciali già pronte all'abbordaggio.
- La tecnologia coinvolta: Un analista del Special Operations Command Pacific (SOCOM) ha usato un chatbot AI sia per l'analisi dei dati sia per la redazione formale del report, amplificando l'errore lungo la catena di comando.
- L'impatto: L'episodio espone le contraddizioni della strategia "AI-first" del Pentagono, riaprendo il dibattito su supervisione umana, velocità decisionale e rischio di escalation involontaria con la Cina.
L'operazione fermata all'ultimo momento
Questa primavera, mentre aerei militari americani erano già in volo e membri armati delle forze speciali si preparavano ad abbordare una nave cinese, i funzionari di Washington hanno scoperto che l'intelligence alla base dell'operazione era falsa. Lo rivela in esclusiva CNN, citando quattro fonti a conoscenza dei fatti. Il report, diffuso durante la guerra con l'Iran, sosteneva che l'imbarcazione trasportasse componenti per un programma nucleare in Medio Oriente.
Solo poco prima dell'intercettazione, approfondendo il documento, gli ufficiali hanno scoperto che il report era stato redatto da un analista del SOCOM con l'aiuto di un chatbot AI. Il sistema aveva fuso in modo errato intelligence open-source e segnali classificati sul manifesto della nave, identificando in modo sbagliato il carico. L'analista aveva poi usato di nuovo l'IA per impaginare le scoperte errate in un report formale, diffuso attraverso i canali di comando ufficiali. Una fonte lo ha definito "interamente falso"; un'altra ha dichiarato che "ha quasi fatto scoppiare una guerra".
Un dipartimento "AI-first"
L'episodio arriva mentre il Dipartimento della Difesa si autodefinisce un "dipartimento della guerra AI-first", con l'obiettivo dichiarato di mantenere gli Stati Uniti "AI dominanti", come riportato dall'account del CTO del Pentagono. Il segretario alla Difesa Pete Hegseth ha dichiarato l'intenzione di "sbloccare la sperimentazione, eliminare le barriere burocratiche, focalizzare gli investimenti" nell'AI militare. Un ex alto funzionario ha però osservato che "gli strumenti interni sono per lo più copie di quelli commerciali con il rossetto".
Il rischio principale non riguarda solo il contenuto errato, ma la velocità con cui si propaga. Una fonte militare ha sintetizzato a CNN che "l'AI ti permette di arrivare a una cattiva idea più velocemente", aggiungendo che "l'uso dell'AI nel targeting è in aumento e non esiste una vera guida su come l'uomo nel loop preverrà vittime civili o fuoco amico". Il fenomeno richiama la "bias dell'automazione" già osservata nel 1988, quando il sistema Aegis della USS Vincennes classificò erroneamente un aereo di linea iraniano come caccia nemico, causando la morte di 290 civili.
Velocità contro supervisione
Jake Steckler, veterano dell'esercito e research scholar di GovAI, sottolinea che i militari devono comprendere "l'incertezza intrinseca dei LLM, specialmente per decisioni che possono portare all'uso della forza", trattandosi di scelte con "conseguenze di vita e di morte". Avverte inoltre che dare priorità alla velocità di adozione a tutti i costi genererà incidenti capaci di erodere la fiducia degli operatori nei sistemi stessi, rallentandone infine l'implementazione.
Nella stessa settimana, studiosi di Brookings e dell'università Tsinghua hanno chiesto pubblicamente salvaguardie per l'AI paragonabili a quelle nucleari e una linea diretta militare tra Stati Uniti e Cina. L'amministrazione Trump ha respinto gli scenari allarmistici, ribadendo che rallentare lo sviluppo dell'AI comporterebbe il rischio di perdere terreno rispetto a Pechino.
Chi controlla il prossimo report
Emma Ashford del Stimson Center ha condensato il pericolo in una frase diventata virale: "È così che l'AI ci ucciderà tutti: non intenzionalmente, non in modo cosciente, ma commettendo uno stupido errore che gli umani non si preoccupano di verificare due volte."
Non servono robot autonomi né sistemi senzienti: basta un analista che si fida dello strumento, un report dall'aspetto credibile e una catena di comando sotto pressione. In questo caso qualcuno ha controllato il documento prima che fosse troppo tardi. Resta aperta la domanda su chi verificherà il prossimo.
