AIの幻覚が米軍作戦を発動寸前に
原題: AI hallucination nearly triggers US military operation
なぜ重要か
AIが軍の意思決定に深く組み込まれるほど、幻覚による誤情報が国家間の武力衝突を引き起こしうるリスクが現実のものとなる。
2026年春、米軍は中国船舶を標的とした武装作戦を実行直前に中止した。AIチャットボットが艦船の積み荷を誤認識して生成した偽の情報が、核兵器関連部品の輸送を示す公式情報として指揮系統を伝達。すでに軍用機が飛び立った後に虚偽が発覚し、中国との武力衝突を辛くも回避した。CNNが9月18日に報じた。
事の発端は、特殊作戦司令部のアナリストがAIチャットボットを使い、公開情報と機密の信号情報を統合しようとしたことだ。チャットボットは対象船舶の積み荷情報を誤って認識し、核兵器プログラム用部品を運んでいるという虚偽の分析を生成した。アナリストはさらにそのツールを使って、誤った内容を公式文書のような体裁に整形。これが指揮系統全体に回覧された。
イランとの戦争が進行中という緊迫した状況下、この情報報告は疑われることなく上位に伝達され、武装作戦の発動命令が下された。軍用機がすでに飛行中という段階になって初めて、情報の虚偽が判明。作戦は土壇場で中止された。
米国防総省はAIが「キルチェーン」を加速し、指揮官が迅速に対応できる優位性をもたらすと説明してきた。だが今回の事案は、その速度が人間による確認を飛ばすリスクとセットであることを示した。
GovAIの研究員でアメリカ陸軍の元将校であるJake Steckler氏はTechCrunchに対し、「大規模言語モデルには本質的な不確かさがある。それを服務員が理解することが重要だ。特に武力行使につながりうる標的選定や情報分析、作戦計画では、生死に関わる判断が下される」と述べた。一方でSteckler氏は、今回の事案をAI活用を止める理由ではなく、安全策を強化する契機にすべきだとも指摘。「導入速度を最優先すれば、服務員がこれらのシステムへの信頼を失うインシデントにつながり、最終的には導入そのものが遅れる」と警告した。