Hugging Face : problème de deepfakes non consentis
Original : Hugging Face Has a Deepfake Nudes Problem
Pourquoi c'est important
Ce rapport révèle les failles de modération d'une plateforme IA valorisée à plusieurs milliards de dollars.
L'ONG AI Forensics a testé neuf Spaces d'édition d'images sur Hugging Face : 7 sur 9 permettaient facilement de déshabiller des femmes. Sur 1 000 prompts collectés, 73 % étaient sexuels, dont 6,7 % ciblaient des enfants apparents.
Selon un rapport publié mardi par l'ONG européenne AI Forensics, la plateforme open source Hugging Face présente un problème généralisé de deepfakes non consentis. Les chercheurs ont testé neuf des principaux Spaces d'édition d'images hébergés sur le site : sept d'entre eux permettaient aisément de transformer l'image habillée d'une femme en image topless. Pour mesurer l'usage réel, AI Forensics a déployé ses propres Spaces leurres, configurés pour ne produire aucune image, et a collecté plus de 1 000 prompts sur une semaine. Résultat : 73 % des requêtes étaient à caractère sexuel, dont 83 % visaient à déshabiller ou sexualiser la personne photographiée — dans 95 % des cas une femme. Par ailleurs, 6,7 % des demandes sexuelles ciblaient des enfants apparents. « Les utilisateurs se servent réellement de Hugging Face à ces fins », déclare Paul Bouchaud, chercheur principal chez AI Forensics. WIRED a également repéré plusieurs pages faisant la promotion de services de « nudification » de célébrités et de personnalités politiques. Contactée, Hugging Face n'a pas répondu aux questions sur ses mécanismes de modération. La plateforme dispose pourtant de politiques interdisant les CSAM et les deepfakes sexuels non consentis. Certaines pages ont été retirées après la prise de contact de WIRED, sans lien confirmé.