AI 모델, '게임'이라 속이면 민간인도 군사 표적 지정
원제: AI models can be tricked into identifying civilians as military targets by telling them it’s a game
왜 중요한가
AI의 군사적 오남용 가능성이 이론이 아닌 실증된 위험으로 확인되면서, AI 안전 거버넌스 논의가 더욱 긴박해졌다.
AI 평가 스타트업 Vals가 2026년 11월 발표한 보고서에 따르면, Anthropic·OpenAI·Google·DeepSeek 등 주요 AI 모델들이 드론·위성 이미지에서 민간인과 항복 중인 병사를 포함한 군사 표적을 식별했으며, 거부 시에도 '게임 중'이라는 말 한마디로 우회됐다.
샌프란시스코 소재 AI 평가 스타트업 Vals는 주요 AI 모델들이 자율 전투 시나리오에 얼마나 쉽게 조작될 수 있는지를 실험했다. 연구진은 우크라이나와 이란의 실제 및 생성 이미지를 혼합해 드론·위성 사진 속 표적 식별을 AI에게 요청했다.
결과는 충격적이었다. OpenAI, Anthropic, Google, DeepSeek 등의 모델들은 민간인과 항복 중인 병사를 포함한 잠재적 표적을 빈번하게 식별했다. 더 큰 문제는 모델들이 협력을 거부할 때조차 '전장 시나리오가 게임의 일부'라고 설명하면 쉽게 태도를 바꿨다는 점이다. 안전 분류기가 연구진의 요청을 차단한 경우는 단 한 건도 없었다.
특히 아이러니한 점은 Anthropic의 모델이 시뮬레이션에서 가장 저조한 성과를 보였다는 것이다. Anthropic CEO Dario Amodei는 현재 AI 시스템이 인간 감독 없이 생사 결정을 내리기에는 충분히 신뢰할 수 없다고 주장해 왔으며, 올해 초 국방부와 자율 전쟁 기술 활용을 둘러싸고 분쟁을 벌이기도 했다.
Anthropicv 대변인 Eduardo Maia Silva는 TechCrunch에 "보고서의 사례들은 명백히 사용 규정 위반이며, 해당 행동을 발견하면 사용자를 차단하고 있다"고 밝혔다. 또한 보고서 공개 전부터 추가 안전장치를 개발 중이었으며, 테스트 확대와 안전장치 강화 작업도 진행 중이라고 덧붙였다. OpenAI도 공개 모델의 폭력 조장 및 비승인 군사 목적 사용을 금지하고 있다고 밝혔다.