OpenAI lance des outils anti-CSAM dans ChatGPT

Original : OpenAI releases a new image classifier and ChatGPT warnings to combat CSAM

Pourquoi c'est important

La lutte contre le CSAM généré par IA devient un enjeu réglementaire majeur pour le secteur.

OpenAI dévoile un classificateur d'images, des avertissements dans ChatGPT et des outils pour les forces de l'ordre afin de lutter contre les contenus pédopornographiques générés ou diffusés via l'IA.

OpenAI a annoncé le 16 novembre 2026 un ensemble de mesures contre les contenus pédopornographiques (CSAM). Premier outil : un classificateur d'images capable de détecter le CSAM, y compris les images générées par IA. Développé avec le National Center for Missing and Exploited Children (NCMEC), il est mis à disposition gratuitement via API à des entreprises sélectionnées. En tests préliminaires, il signale 48 % d'images en moins tout en détectant autant de contenus abusifs, et les images qu'il signale sont deux fois plus susceptibles d'être effectivement illicites.

ChatGPT affichera désormais des écrans d'alerte aux utilisateurs tentant d'accéder à ce type de contenu, les orientera vers des ressources spécialisées, et suspendra leur compte 24 heures. Les récidives peuvent entraîner une suppression définitive du compte. Ces messages ont été élaborés avec des organisations comme la Lucy Faithfull Foundation et Protect Children, et évalués par Joel Scanlan de l'Université de Tasmanie.

OpenAI publie également des directives pour les développeurs sur la détection et le signalement du CSAM au NCMEC, et dote les forces de l'ordre de plugins dédiés, d'outils d'analyse et de formations. Ces annonces interviennent alors que l'entreprise fait face à plusieurs poursuites judiciaires liées à la sécurité des mineurs.

Source

techcrunch.com — Lire l'original →