Discord、AIモデレーションバグで8千人以上を誤BAN
원제: Discord admits AI moderation bug wrongfully banned users over harmless images
왜 중요한가
AI 자동 모더레이션의 오탐지 문제가 8,000명 이상에게 실질적 피해를 주며 플랫폼 신뢰성과 안전장치 설계의 중요성을 부각시켰다.
Discordは2026년 7월 7일, AI 모더레이션 시스템의 버그로 인해 무해한 이미지를 유해 콘텐츠로 잘못 판정하여 지난 2개월간 8,000명 이상의 사용자를 부당하게 계정 정지했다고 공식 인정했다. 해당 계정들은 현재 복구 절차가 진행 중이다.
Discordは2026년 7월 7일, 자사의 자동화 AI 모더레이션 시스템에 버그가 발생하여 5월부터 8,000명 이상의 사용자 계정을 부당하게 정지했다고 밝혔다. 문제가 된 이미지는 스프레드시트, 체스판, 게임 텍스처, 흰색 및 회색 투명 배경 등 무해한 것들이었다. 또한 해당 문제가 완전히 파악되기 전인 주말에도 추가로 200명이 계정 정지를 당한 것으로 확인됐다.
Discord의 자동화 안전 시스템은 업로드된 콘텐츠를 기지의 유해 자료 데이터베이스와 대조해 일치 여부를 확인하는 방식으로 작동한다. 원래 설계상으로는 Trust & Safety 팀의 인간 모더레이터가 플래그된 콘텐츠를 검토한 후 조치를 취하게 되어 있었으나, 버그로 인해 검토 절차 없이 즉시 계정이 정지되는 문제가 발생했다. Discord는 X 공식 계정을 통해 "이런 일이 재발하지 않도록 더 나은 안전장치를 마련하고 있다"고 밝혔다.
X와 Reddit에서는 격자 패턴이 포함된 이미지를 업로드했다는 이유만으로 영구 계정 정지를 당했다는 사용자들의 제보가 잇따랐다. 일부 사용자들은 AI 모더레이션 시스템이 격자 형태의 패턴에 과민 반응하게 된 이유로, 과거에 격자 패턴이 NSFW 및 아동 착취 콘텐츠를 자동 탐지로부터 숨기는 데 사용된 사례가 있었기 때문이라고 추측하고 있다. 게임 디렉터라고 밝힌 한 사용자는 자신의 게임 텍스처가 CSAM으로 오탐지되어 계정이 정지됐다고 호소했다. 이와 유사한 자동화 모더레이션 관련 문제는 Instagram과 Facebook Groups에서도 지난해 대규모 계정 정지 사태로 보고된 바 있다.