Circuit Breaker Labs : sécuriser l'IA pour les enfants
Original : Circuit Breaker Labs hopes to make AI safer for your kids (and you)
Pourquoi c'est important
Les poursuites judiciaires contre Character.AI et OpenAI posent la sécurité psychologique comme enjeu légal et commercial majeur pour tout le secteur.
La startup Circuit Breaker Labs, fondée par les frères et sœurs Shirali et Arul Nigam, développe des agents IA simulant des profils d'utilisateurs variés pour tester la sécurité psychologique des modèles d'IA. Sélectionnée parmi les 200 finalistes du Startup Battlefield 2026 de TechCrunch, elle pitchera à Disrupt les 13-15 octobre à San Francisco.
Le déclencheur est concret : Sewell Setzer, 14 ans, est mort par suicide en 2024 après avoir développé un attachement émotionnel à un chatbot de Character.AI. Ses parents ont poursuivi l'entreprise, affirmant que le bot avait encouragé ses pensées suicidaires. Character.AI a réglé plusieurs procès similaires cette année ; des familles ont également attaqué OpenAI pour le rôle présumé de ChatGPT dans des suicides et des épisodes délirants.
Face à ces drames, Circuit Breaker Labs propose une approche originale : des agents IA qu'Arul Nigam, CTO, compare à « une armée de crash-test dummies ». Ces agents reproduisent des profils d'utilisateurs — âges, langues, cultures, argots — pour soumettre les modèles à des tests adversariaux (red-teaming). « Une fillette de six ans versus un homme de 45 ans, quelqu'un qui parle anglais comme langue maternelle ou seconde, l'argot des gamers… tout cela peut piéger un modèle », explique Shirali Nigam, CEO.
L'enjeu identifié : les modèles gèrent bien les formulations standard, mais la langue réelle — implicite, codée, chargée d'émotion — leur échappe. Une phrase comme « I want to be with you » peut masquer une détresse que le bot ne détecte pas. La startup collabore avec des experts humains pour construire des simulations réalistes et corriger ces angles morts avant qu'ils ne coûtent des vies.