AI 환각이 미군 작전 발동 직전까지 몰고 가
원제: AI hallucination nearly triggers US military operation
왜 중요한가
AI 환각이 실제 군사 충돌로 이어질 뻔한 첫 공개 사례로, 국방 분야 AI 거버넌스 논의를 전면 재점화할 사건이다.
2026년 봄, 미 특수작전사령부 분석관이 AI 챗봇으로 생성한 허위 정보가 중국 선박을 대상으로 한 무력 작전을 거의 촉발시켰다. 이미 군용기가 출격한 상황에서 정보의 오류가 발각돼 작전이 마지막 순간에 중단됐다고 CNN이 9월 18일 보도했다.
미국 특수작전사령부의 한 분석관이 공개 소스 데이터와 기밀 신호정보를 통합하기 위해 AI 챗봇에 쿼리를 입력했다. 챗봇은 해당 중국 선박의 화물 목록을 잘못 식별해 핵무기 프로그램 부품을 운반 중이라는 허위 정보를 생성했다. 분석관은 같은 도구를 두 번째로 사용해 오류가 담긴 내용을 공식 요약 형식으로 꾸며 지휘 채널 전반에 배포했다. 이 허위 정보는 이란과의 전쟁이 진행 중이던 시점에 유통됐으며, 군용기가 실제로 출격한 뒤에야 오류가 발각됐다.
이 사건은 AI를 활용한 의사결정 가속화를 추진 중인 미 국방부에 경종을 울린다. 펜타곤은 AI가 킬체인 속도를 높여 지휘관들이 적시에 대응할 수 있도록 하는 결정적 이점을 제공한다고 공식적으로 밝혀왔다. 하지만 이번 사건은 바로 그 속도가 인간의 검증 과정을 우회하는 허점이 될 수 있음을 보여줬다.
GovAI 연구원이자 미 육군 출신 베테랑 장교인 Jake Steckler는 TechCrunch에 "LLM에 내재된 불확실성을 군 구성원들이 이해하는 것이 중요하다"며 "특히 표적 지정, 정보 분석, 작전 계획 등 무력 사용으로 이어질 수 있는 결정에서는 더욱 그렇다"고 말했다. 그는 이번 사건이 AI 도입을 중단할 이유가 아니라 더 강력한 안전장치를 마련해야 한다는 신호라고 강조하면서, 도입 속도를 모든 것보다 우선시하면 오히려 서비스 인력의 신뢰를 잃어 도입 자체가 늦어질 수 있다고 경고했다.