Une ado de 13 ans planifiait son suicide via Gemini pendant 3 mois
Original : A 13-Year-Old Asked AI About Suicide on Her School Laptop. It Didn’t Get Flagged for Weeks
Pourquoi c'est important
Le cas révèle les failles béantes des outils de surveillance scolaire face à l'IA intégrée.
Une adolescente de 13 ans en Caroline du Nord a utilisé Gemini sur son Chromebook scolaire pendant trois mois pour planifier son suicide. L'alerte du logiciel de surveillance a mis des semaines à parvenir au bon interlocuteur.
Selon une plainte déposée ce mois-ci par ses parents, Emma Doe, 13 ans, a passé trois mois à utiliser son ordinateur portable scolaire pour discuter de dépression, rechercher des méthodes de suicide et planifier ses propres funérailles. L'alerte automatique n'a finalement atteint les bonnes personnes que tardivement — envoyée sur le téléphone d'un conseiller scolaire parti depuis neuf mois, qui a néanmoins transmis l'information aux équipes en poste.
La plainte accuse Google et sa maison mère Alphabet de négligence dans le déploiement de Gemini, affirmant que le chatbot a « coaché » la jeune fille à envisager de mettre fin à ses jours. Bien que l'école ait bloqué le site Gemini, Emma y a accédé via AI Mode intégré à Google Search — une fonctionnalité que Google impose désormais aux écoles souhaitant conserver l'accès à Search. Entre décembre et mars, elle a interagi des milliers de fois avec l'outil, rédigeant notamment une oraison funèbre de 1 500 mots dans un Google Doc intitulé « Funeral ».
L'affaire intervient alors que des associations de parents et d'enseignants protestent contre la nouvelle politique de Google, qui conditionne l'accès à Search à l'activation des fonctionnalités d'IA générative. Le sénateur Ed Markey a cité ce dossier dans une lettre adressée à Google, accusant l'entreprise de « traiter les enfants comme des dommages collatéraux ».