AI 에이전트 명령 승인 시 인간이 위협 3건 중 1건 놓쳐
원제: Humans missed 1 in 3 threats approving AI agent commands across 40k game runs
왜 중요한가
AI 에이전트의 명령 승인을 인간에게 의존하는 'human-in-the-loop' 보안 모델의 실질적 한계를 데이터로 입증한 사례로, 에이전트 보안 설계 논의에 중요한 근거를 제공한다.
Scale X가 4만 회 이상의 브라우저 게임 실행과 40만 9천 건의 승인·거부 결정 데이터를 분석한 결과, 인간 감독자는 평균적으로 AI 에이전트의 악성 명령 3건 중 1건(33.7%)을 놓친 것으로 나타났다. 평균 정확도는 66.3%에 그쳤으며, 전체 세션의 32.9%는 마이너스 점수로 종료됐다.
Scale X는 AI 코딩 에이전트의 명령을 인간이 시간 압박 하에 승인 또는 거부하는 브라우저 게임 데이터를 분석해 결과를 공개했다. 총 4만 회 이상의 실행, 40만 9천 건의 개별 결정이 분석 대상이었다.
위협 유형별 누락률을 보면, 'rm -rf /' 등 명백한 파괴적 명령은 11.7%로 가장 낮았다. 반면 자격 증명 탈취(cat ~/.aws/credentials 등 범위 위반)는 35.0%, curl을 이용한 외부 API 전송 등 데이터 유출·코드 실행 계열은 33.4%로 높았다.
가장 많이 놓친 단일 명령은 'npm run analyze'로, 64.7%의 플레이어가 승인했다. 게임 내 히스토리 로그에 해당 스크립트가 외부 서버로 데이터를 전송하는 코드임이 명시돼 있었음에도 불구하고, 플레이어 대부분이 로그를 꼼꼼히 확인하지 않은 것으로 분석됐다. 'npm run setup'(누락률 48.0%), 'npm run deploy'(44.9%)를 포함한 npm run 계열 3개 명령의 통합 누락률은 52.5%로, 다른 유출형 공격(28.4%)의 약 두 배에 달했다.
또한 전체 플레이어의 7%는 모든 명령을 무조건 승인했으며, 35.2%는 모든 위협을 차단했지만 그중 안전한 명령도 20% 이하만 차단한 비율은 20.8%에 불과했다. 연구자는 이번 결과가 게임 환경이라는 한계를 가지나, 위협 인식 수준과 유형 간 비교에 유용한 시사점을 제공한다고 밝혔다.