Le S-1 d'Anthropic, manuel de l'apocalypse IA
Original : The Anthropic S-1 Filing Is Also an AI Doomsday Primer
Pourquoi c'est important
Un document légal contraint l'IA à chiffrer ses propres risques catastrophiques.
Anthropic a déposé son prospectus d'introduction en bourse, consacrant 94 pages aux facteurs de risque, dont des menaces « existentielles » pour l'humanité liées à l'auto-amélioration récursive de l'IA.
Anthropic a officiellement déposé son prospectus d'IPO, révélant pour la première fois des données financières jusque-là confidentielles — revenus importants, dépenses encore plus élevées. Mais la section la plus volumineuse du document est consacrée aux « facteurs de risque » : 94 pages qui décrivent, avec une précision inhabituelle, les scénarios catastrophiques que la société elle-même redoute.
Au centre de ces craintes : l'auto-amélioration récursive (RSI). Le principe est simple — des modèles IA qui prennent en charge la recherche et le développement d'autres modèles IA, sans supervision humaine. Le prospectus avertit que « les risques augmenteront si les systèmes IA automatisent substantiellement la R&D en IA, accélérant les progrès au-delà de notre capacité à évaluer et à sécuriser les nouveaux modèles ».
Anthropique précise aussi ce qui pourrait suivre : des systèmes autonomes capables d'agir à grande échelle « en raison d'un désalignement avec les intentions humaines, d'erreurs dans la spécification des objectifs, ou de comportements d'auto-préservation ». Le document mentionne également les risques physiques liés aux modèles pilotant des équipements, allant jusqu'à évoquer « la libération de substances dangereuses ».
L'expression « risques existentiels » apparaît trois fois dans le texte. Anthropic n'a pas répondu aux demandes de commentaires.