重要ポイント
- 事件の概要: AIチャットボットが生成した情報報告が、中国船舶が核関連部品を輸送していると誤って特定し、米軍の特殊部隊が乗船作戦寸前まで準備を進める事態となった。
- 関与した技術: 太平洋特殊作戦司令部(SOCOM)のアナリストが、データ分析と正式な報告書作成の両方にAIチャットボットを使用し、指揮系統を通じて誤りが増幅された。
- 影響: この事件は国防総省の「AIファースト」戦略の矛盾を露呈させ、人的監督、意思決定の速度、そして中国との意図せぬ緊張激化のリスクをめぐる議論を再燃させた。
土壇場で中止された作戦
今春、米軍機がすでに飛行中で、武装した特殊部隊員が中国船舶への乗船準備を整えていたその時、ワシントンの当局者たちは作戦の根拠となった情報が虚偽であることを発見した。CNNが関係筋4人の証言をもとに独占報道した。この報告書は、イランとの軍事衝突の最中に流布されたもので、当該船舶が中東の核開発計画向け部品を輸送していると主張していた。
船舶の拿捕直前になって文書を精査したところ、当局者たちはこの報告書がSOCOMのアナリストによってAIチャットボットの補助を受けて作成されたものであることを突き止めた。このシステムは、公開情報源の情報と船舶の積荷目録に関する機密信号情報を誤った形で統合し、積荷を誤認していた。アナリストはその後、この誤った分析結果を正式な報告書としてまとめる際にも再びAIを使用し、それが正規の指揮系統を通じて配布された。ある関係者はこれを「完全な虚偽」と表現し、別の関係者は「あわや戦争を引き起こすところだった」と語った。
「AIファースト」の国防総省
この事件は、国防総省が自らを「AIファーストの戦争省」と称し、米国の「AI優位」維持を公言している最中に発生した。これは国防総省CTOのアカウントでも報告されている。ピート・ヘグセス国防長官は、軍事AIにおいて「実験を解放し、官僚的障壁を撤廃し、投資を集中させる」意向を表明している。しかし、ある元高官は「内部ツールの大半は市販品の焼き直しに過ぎない」と指摘した。
主要なリスクは誤った内容そのものだけでなく、それが伝播する速度にもある。ある軍関係者はCNNに対し、「AIは悪い判断により早くたどり着かせてしまう」と要約し、さらに「標的選定におけるAI利用は増加しているが、人間が介在する仕組みが民間人への被害や誤射をどう防ぐかについて、実質的な指針は存在しない」と付け加えた。この現象は、1988年にすでに観察された「自動化バイアス」を想起させる。当時、USSヴィンセンズのイージスシステムがイランの民間旅客機を敵の戦闘機と誤認し、290人の民間人が犠牲となった。
速度か、監督か
陸軍退役軍人でGovAIの研究員であるジェイク・ステックラー氏は、軍が「特に武力行使につながりうる意思決定において、大規模言語モデルに内在する不確実性」を理解する必要があると強調する。これは「生死に関わる結果」をもたらす選択だからだ。同氏はさらに、導入速度をあらゆる犠牲を払ってでも優先させれば、運用者のシステムに対する信頼を損なう事故を招き、結果的に導入自体を遅らせることになると警告する。
同じ週、ブルッキングス研究所と清華大学の研究者たちは、核兵器並みのAI安全対策と、米中間の軍事ホットラインの設置を公に求めた。トランプ政権はこうした警鐘のシナリオを退け、AI開発を減速させれば北京に後れを取るリスクがあると改めて強調した。
次の報告書を検証するのは誰か
スティムソン・センターのエマ・アシュフォード氏は、この危険性を一躍話題となった一言に凝縮した。「これがAIが我々全員を殺す仕組みだ――意図的にでも、意識的にでもなく、人間がわざわざ二度確認しようとしないような愚かな過ちを犯すことによって。」
自律型ロボットも意識を持ったシステムも必要ない。ツールを信頼するアナリスト、もっともらしく見える報告書、そして圧力にさらされた指揮系統――それだけで十分なのだ。今回は、手遅れになる前に誰かが文書を確認した。次はいったい誰が確認するのか、その問いは未解決のままだ。
