Puntos Clave
- El episodio: Un informe de inteligencia generado por un chatbot de IA identificó erróneamente un buque chino como transportador de componentes nucleares, desencadenando una operación militar estadounidense casi ejecutada con fuerzas especiales ya listas para el abordaje.
- La tecnología involucrada: Un analista del Special Operations Command Pacific (SOCOM) utilizó un chatbot de IA tanto para el análisis de datos como para la redacción formal del informe, amplificando el error a lo largo de la cadena de mando.
- El impacto: El episodio expone las contradicciones de la estrategia "AI-first" del Pentágono, reabriendo el debate sobre supervisión humana, velocidad decisional y riesgo de escalada involuntaria con China.
La operación detenida en el último momento
Esta primavera, mientras aviones militares estadounidenses ya estaban en vuelo y miembros armados de las fuerzas especiales se preparaban para abordar un buque chino, los funcionarios en Washington descubrieron que la inteligencia detrás de la operación era falsa. Lo revela en exclusiva CNN, citando cuatro fuentes con conocimiento de los hechos. El informe, difundido durante la guerra con Irán, sostenía que la embarcación transportaba componentes para un programa nuclear en Medio Oriente.
Solo poco antes de la intercepción, al profundizar en el documento, los oficiales descubrieron que el informe había sido redactado por un analista del SOCOM con la ayuda de un chatbot de IA. El sistema había fusionado de manera errónea inteligencia de fuentes abiertas y señales clasificadas sobre el manifiesto del buque, identificando incorrectamente la carga. El analista luego volvió a usar la IA para redactar formalmente los hallazgos erróneos en un informe oficial, difundido a través de los canales de mando establecidos. Una fuente lo calificó como "completamente falso"; otra declaró que "casi provoca una guerra".
Un departamento "AI-first"
El episodio ocurre mientras el Departamento de Defensa se autodefine como un "departamento de guerra AI-first", con el objetivo declarado de mantener a Estados Unidos "dominante en IA", según reportó la cuenta del CTO del Pentágono. El secretario de Defensa Pete Hegseth declaró la intención de "desbloquear la experimentación, eliminar las barreras burocráticas, enfocar las inversiones" en IA militar. Sin embargo, un exalto funcionario observó que "las herramientas internas son en su mayoría copias de las comerciales con lápiz labial".
El riesgo principal no radica solo en el contenido erróneo, sino en la velocidad con la que se propaga. Una fuente militar resumió a CNN que "la IA te permite llegar a una mala idea más rápido", agregando que "el uso de la IA en la selección de objetivos está en aumento y no existe una guía real sobre cómo el humano en el circuito evitará víctimas civiles o fuego amigo". El fenómeno recuerda el "sesgo de automatización" ya observado en 1988, cuando el sistema Aegis del USS Vincennes clasificó erróneamente un avión comercial iraní como caza enemigo, causando la muerte de 290 civiles.
Velocidad contra supervisión
Jake Steckler, veterano del ejército e investigador de GovAI, subraya que los militares deben comprender "la incertidumbre intrínseca de los LLM, especialmente para decisiones que pueden conducir al uso de la fuerza", tratándose de elecciones con "consecuencias de vida o muerte". Advierte además que priorizar la velocidad de adopción a toda costa generará incidentes capaces de erosionar la confianza de los operadores en los propios sistemas, ralentizando finalmente su implementación.
Esa misma semana, académicos de Brookings y de la universidad Tsinghua pidieron públicamente salvaguardas para la IA comparables a las nucleares y una línea directa militar entre Estados Unidos y China. La administración Trump rechazó los escenarios alarmistas, reiterando que ralentizar el desarrollo de la IA implicaría el riesgo de perder terreno frente a Pekín.
Quién controla el próximo informe
Emma Ashford, del Stimson Center, condensó el peligro en una frase que se volvió viral: "Así es como la IA nos matará a todos: no intencionalmente, no de forma consciente, sino cometiendo un error estúpido que los humanos no se molestan en verificar dos veces."
No hacen falta robots autónomos ni sistemas conscientes: basta un analista que confía en la herramienta, un informe de apariencia creíble y una cadena de mando bajo presión. En este caso alguien verificó el documento antes de que fuera demasiado tarde. Queda abierta la pregunta de quién verificará el próximo.
