Points Clés
- L'épisode : Un rapport de renseignement généré par un chatbot IA a identifié à tort un navire chinois comme transportant des composants nucléaires, déclenchant une quasi-opération militaire américaine avec des forces spéciales déjà prêtes à l'abordage.
- La technologie impliquée : Un analyste du Special Operations Command Pacific (SOCOM) a utilisé un chatbot IA à la fois pour l'analyse des données et pour la rédaction formelle du rapport, amplifiant l'erreur tout au long de la chaîne de commandement.
- L'impact : L'épisode expose les contradictions de la stratégie "AI-first" du Pentagone, relançant le débat sur la supervision humaine, la vitesse décisionnelle et le risque d'escalade involontaire avec la Chine.
L'opération stoppée au dernier moment
Ce printemps, alors que des avions militaires américains étaient déjà en vol et que des membres armés des forces spéciales se préparaient à monter à bord d'un navire chinois, les responsables à Washington ont découvert que le renseignement à l'origine de l'opération était faux. C'est CNN qui le révèle en exclusivité, citant quatre sources au fait du dossier. Le rapport, diffusé pendant la guerre avec l'Iran, affirmait que le navire transportait des composants destinés à un programme nucléaire au Moyen-Orient.
Ce n'est que peu avant l'interception, en examinant le document de plus près, que les responsables ont découvert qu'il avait été rédigé par un analyste du SOCOM avec l'aide d'un chatbot IA. Le système avait fusionné de manière erronée des renseignements en source ouverte et des signaux classifiés concernant le manifeste du navire, identifiant à tort sa cargaison. L'analyste avait ensuite utilisé de nouveau l'IA pour mettre en forme ces conclusions erronées dans un rapport officiel, diffusé par les canaux de commandement habituels. Une source a qualifié ce rapport de "entièrement faux" ; une autre a déclaré qu'il "a failli déclencher une guerre".
Un département "AI-first"
Cet épisode survient alors que le département de la Défense se définit lui-même comme un "département de la guerre AI-first", avec pour objectif affiché de maintenir les États-Unis "dominants en IA", comme l'a rapporté le compte du CTO du Pentagone. Le secrétaire à la Défense Pete Hegseth a déclaré vouloir "libérer l'expérimentation, éliminer les obstacles bureaucratiques, concentrer les investissements" dans l'IA militaire. Un ancien haut responsable a toutefois observé que "les outils internes sont pour la plupart des copies des outils commerciaux, avec du rouge à lèvres en plus".
Le risque principal ne concerne pas seulement le contenu erroné, mais la vitesse à laquelle il se propage. Une source militaire a résumé pour CNN que "l'IA vous permet d'arriver plus vite à une mauvaise idée", ajoutant que "l'usage de l'IA dans le ciblage est en hausse et il n'existe aucune véritable ligne directrice sur la manière dont l'humain dans la boucle préviendra les victimes civiles ou les tirs amis". Ce phénomène rappelle le "biais d'automatisation" déjà observé en 1988, lorsque le système Aegis de l'USS Vincennes avait classé à tort un avion de ligne iranien comme un chasseur ennemi, causant la mort de 290 civils.
Vitesse contre supervision
Jake Steckler, vétéran de l'armée et chercheur chez GovAI, souligne que les militaires doivent comprendre "l'incertitude intrinsèque des LLM, en particulier pour les décisions pouvant mener à l'usage de la force", puisqu'il s'agit de choix ayant "des conséquences de vie ou de mort". Il avertit également que privilégier la vitesse d'adoption à tout prix générera des incidents capables d'éroder la confiance des opérateurs envers ces systèmes, ralentissant finalement leur déploiement.
La même semaine, des chercheurs de Brookings et de l'université Tsinghua ont publiquement appelé à des garde-fous pour l'IA comparables à ceux du nucléaire, ainsi qu'à une ligne directe militaire entre les États-Unis et la Chine. L'administration Trump a rejeté les scénarios alarmistes, réaffirmant que ralentir le développement de l'IA reviendrait à risquer de perdre du terrain face à Pékin.
Qui contrôlera le prochain rapport
Emma Ashford, du Stimson Center, a résumé le danger dans une phrase devenue virale : "Voilà comment l'IA nous tuera tous : non pas intentionnellement, non pas consciemment, mais en commettant une erreur stupide que les humains ne prennent pas la peine de vérifier deux fois."
Il ne faut ni robots autonomes ni systèmes conscients : il suffit d'un analyste qui fait confiance à son outil, d'un rapport à l'apparence crédible et d'une chaîne de commandement sous pression. Dans ce cas précis, quelqu'un a vérifié le document avant qu'il ne soit trop tard. Reste une question ouverte : qui vérifiera le prochain ?
