Discordで誤BAN問題、8,000人超がAI誤検知の被害
原題: Discord admits AI moderation bug wrongfully banned users over harmless images
なぜ重要か
AIモデレーション依存が高まる中、大規模誤BANは自動化システムの信頼性と人間による監視の必要性を業界に改めて問うている。
Discordは2026年7月7日、AIモデレーションシステムのバグにより、スプレッドシートやチェス盤、ゲームテクスチャなど無害な画像が有害コンテンツと誤判定され、過去2ヶ月間で8,000人超のユーザーが不当にアカウントを停止されたと認めた。同社はバグを修正し、全影響アカウントの復元作業を進めている。
Discordは7月7日、AIによる自動モデレーションシステムのバグが原因で、2026年5月以降に8,000人以上のユーザーが誤ってアカウント停止（BAN）されたことを公式に認めた。誤検知の対象となったのは、スプレッドシート、チェス盤、ゲームテクスチャ、白・グレーの透明背景といった無害な画像だった。さらに問題発覚直前の週末にも200人が新たにBANされており、同社はその後バグを特定・修正した。
Discordの自動安全システムは、アップロードされたコンテンツを既知の有害コンテンツのデータベースと照合する類似マッチング技術を使用している。同社はXへの公式スレッドで「この類似マッチングは誤検知を生む場合があり、そのためTrust & Safetyチームのメンバーが必ず事前にフラグ付きコンテンツをレビューする設計になっている」と説明した。しかし今回のバグにより、人間によるレビューが行われずに即座にアカウントBANが実行された。同社は「再発防止のためのセーフガードを強化する」とコメントした。
XやRedditでは、グリッドパターンを含む画像をアップロードしただけで永久停止されたと主張するユーザーが相次いだ。一部のユーザーは、グリッド状パターンが過去にNSFWや児童性的虐待素材（CSAM）を自動検知から隠すために悪用されてきたため、AIが過剰に反応するようになった可能性を指摘している。ゲームディレクターを名乗るユーザーは「ゲームテクスチャがCSAMとして誤検知されアカウントをBANされた」とXに投稿し、業務への深刻な影響を訴えた。
AIモデレーションによる誤BANはDiscord固有の問題ではなく、昨年もInstagramやFacebook Groupsで原因不明の大規模アカウント停止が報告されており、AI自動システムへの依存に伴うリスクが業界全体で課題となっている。