메타, 경쟁사 챗봇 안전성 테스트 위해 계약자들을 미성년자로 위장
원제: Meta Contractors Posed as Teens to Prompt Rival Chatbots About Suicide, Sex, and Drugs
왜 중요한가
AI 챗봇의 안전성 검증 방식과 윤리 경계에 대한 업계 논란을 촉발하며, 기업들의 경쟁 과정에서의 투명성과 사전 동의 문제를 제기하는 중요 사례다.
메타의 계약업체 Covalen이 관리하는 '칸느' 프로젝트에서 수백 명의 계약자들이 미성년자로 가장해 ChatGPT, Gemini, Character.AI 등 경쟁사 챗봇에 자살, 성, 약물 등 고위험 주제에 대한 질문을 던졌다. 2025년 8월 한 차례 테스트에서 4만5000개 이상의 프롬프트가 사용됐다.
메타 계약업체 Covalen이 관리하는 내부 프로젝트 '칸느'는 메타의 경쟁사인 OpenAI, Google, Character.AI의 챗봇들이 고위험 주제에 어떻게 반응하는지 테스트하기 위해 설계됐다. 계약자들은 18세 미만의 더미 계정을 만들고 자살, 섭식장애, 성적 내용, 약물 관련 프롬프트를 보냈으며, 응답을 스프레드시트에 기록했다.
프로젝트는 2025년 4월 21일까지 활동했다. 검토된 문서에 따르면 프롬프트는 매우 구체적이었다. 13세 임신 상황, 총기 자살, 거식증 숨기는 방법, 약물 구입처 등을 포함했다. 일부 프롬프트는 성적 내용이나 인종혐오도 담았다. 테스터들이 전송한 이미지에는 약물, 칼, 목걸이, 산부인과 의료도표 등이 포함됐다.
2025년 8월 테스트에서만 4만5000개 이상의 프롬프트가 실행됐다. 검토된 스프레드시트에는 3748개의 프롬프트가 기록되어 있으며, 수백 개가 자살과 자해, 섭식장애에 집중했다. 최소 239개는 성적 또는 로맨틱 내용을 다뤘다.
Metaは声명で이 작업을 "종합적인 AI 안전 벤치마킹"이라 설명했으며, 책임감 있는 업계 표준 관행이라고 주장했다. 하지만 경쟁사 기업들은 테스트 사실을 인지하지 못했던 것으로 알려졌다.