OpenAI、CSAM対策で画像分類器と警告機能を公開
原題: OpenAI releases a new image classifier and ChatGPT warnings to combat CSAM
なぜ重要か
AI生成CSAMは法執行の盲点であり、業界全体が対策ツールの標準化を迫られている局面で、OpenAIが具体的な数値と外部連携を示した点は先行事例となりうる。
OpenAIは2026年11月16日、児童性的虐待素材(CSAM)対策として新たな画像分類器をAPI経由で無償提供すると発表した。同時にChatGPTへの警告画面と24時間アカウント停止機能、開発者向けガイドライン、法執行機関向けツールも公開。NCMECと共同開発した分類器は、同数の違反画像を検出しながら審査フラグを48%削減する効果を初期テストで確認した。
OpenAIが発表した新しい画像分類器は、AI生成を含むCSAM画像を検出し、審査担当者向けにスコアを付与する。Tech CoalitionおよびROOSTを通じてAPI経由で選定企業に無償提供される。NCMECとの共同開発によるもので、初期テストでは審査対象フラグを48%削減しながら同数の違反画像を検出。さらに分類器がフラグを立てた画像は、実際に違反コンテンツである確率が従来比2倍に向上したという。
ChatGPTでは、子どもを性的に描写するプロンプトを入力しようとするユーザーに警告画面を表示し、有害行動を止めるための専門支援機関へ誘導する。同時にアカウントを24時間停止する措置を取り、繰り返し違反した場合は永久削除の対象となる。この警告メッセージと運用指針は、Protect ChildrenやLucy Faithfull Foundation、タスマニア大学のJoel Scanlan氏ら外部の研究者・団体と協力して策定し、抑止効果についても独立した試験評価が実施された。
開発者向けにはCSAMの防止・検出・報告を支援するガイドラインを公開。初期テストでは複数の開発者が子ども安全ツールを導入し、NCMECへのCSAM報告登録を行ったとしている。法執行機関向けには専用プラグイン、捜査ツール、データ解析機能を提供し、AIの使い方を解説したフィールドガイドと捜査官向けトレーニングも用意する。
OpenAIを巡っては子どもを含むユーザーへの被害を主張する複数の訴訟が起きており、Common Sense MediaはOpenAIの技術をティーンにとって「許容できないリスク」と評価していた。GrokなどほかのAIチャットボットでも児童を含む無断性的画像の生成が問題視される中、同社は過去12か月でコンテンツガイドライン更新やモデルの再調整など安全策を積み重ねてきた。