Discord、AIモデバグで8千人を誤ban
Judul asli: Discord admits AI moderation bug wrongfully banned users over harmless images
Mengapa Ini Penting
AIモデレーションの誤検知問題は、プラットフォーム運営における自動化システムの信頼性と人的監視の重要性を改めて示している。
Discordは2026年7月、AIモデレーションのバグにより過去2ヶ月間で8,000人以上のユーザーを誤ってBANしたと認めた。スプレッドシートやチェス盤などの無害な画像が有害コンテンツと誤判定された。
Discordは、AI自動モデレーションシステムのバグにより、5月以降8,000人以上のユーザーが誤ってBANされていたことを認めた。問題の週末だけでも200人が追加でBANされており、現在すべての対象アカウントが復元手続き中である。
同社のシステムは、アップロードされた画像を既知の有害コンテンツのデータベースと照合する仕組みを採用している。本来はTrust & Safetyチームの人間がフラグ付きコンテンツをレビューしてから処置を行う設計だが、バグにより即座にBANが執行される状態となっていた。Discordは「再発防止のためのより良い安全策を構築中」と説明した。
XやRedditでは、グリッドパターンを含む画像を投稿しただけで永久BANされたとするユーザーの報告が相次いだ。あるゲームディレクターはゲームテクスチャ画像がCSAMとして誤検知されたとして抗議した。InstagramやFacebookグループでも昨年、AIモデレーションによる同様の誤BANが問題となっており、自動化システムへの依存が持つリスクが再び浮き彫りになった。