DiscordのAI モデレーションのバグが8,000人以上を誤BAN
मूल शीर्षक: Discord admits AI moderation bug wrongfully banned users over harmless images
यह क्यों महत्वपूर्ण है
プラットフォームのAI自動モデレーションへの依存が拡大する中、大規模な誤検知リスクと人間によるレビュー体制の重要性が改めて問われている。
Discordは、AI自動モデレーションシステムのバグにより、過去2ヶ月間で8,000人以上のユーザーが無害な画像を理由に誤って永久BANされたと認めた。スプレッドシートやチェス盤、ゲームテクスチャなどの画像が有害コンテンツと誤判定された。全アカウントは現在復元作業中。
Discordは2026年7月7日、同社のAI自動モデレーションシステムのバグにより、5月以降の約2ヶ月間で8,000人以上のユーザーが誤BANされたことを公式に認めた。誤検知された画像には、スプレッドシート、チェス盤、ゲームテクスチャ、白や灰色の透明背景など、有害性のないものが含まれていた。さらに、問題が特定・修正される前の週末にも200人のユーザーが追加でBANされた。
DiscordはXの公式スレッドで、同社の自動安全システムが既知の有害コンテンツのデータベースと照合して画像を検出する仕組みであることを説明した。本来はTrust & Safetyチームの人間モデレーターがフラグ付きコンテンツを確認してから対応する設計だったが、バグにより対象アカウントが即座にBANされる状態になっていた。同社は「このようなことが再び起きないよう、より良い保護手段を講じている」と述べた。
X及びReddit上のユーザーからは、格子状のグリッドパターンを含む画像をアップロードするだけで永久BANされたとの報告が相次いだ。一部のユーザーは、グリッドパターンが過去にNSFWや児童搾取コンテンツを自動検知から隠蔽するために使われたことがあるため、AIが過度に敏感になった可能性を指摘した。ゲームディレクターを名乗るユーザーは、自身のゲームテクスチャが誤検知されたとして公式アカウントに訴えた。
同様の問題はDiscordだけに留まらず、InstagramやFacebook Groupsでも昨年、AI自動モデレーションによるとみられる大規模な根拠不明のアカウント停止が報告されている。