Trillium Labs : recherche IA à risque en open source
Original : These AI Experts Want to Do High-Stakes Research Out in the Open
Pourquoi c'est important
La transparence sur les modèles risqués pourrait redéfinir les standards de sécurité en IA.
Nathan Lambert et Tom Zick ont fondé Trillium Labs, un laboratoire à but non lucratif qui publie ses travaux sur l'auto-amélioration récursive et les agents IA. Contrairement aux grands labs fermés comme OpenAI ou Anthropic, ils misent sur la transparence pour mieux identifier et réduire les risques.
La plupart des grands laboratoires d'IA — OpenAI, Anthropic en tête — gardent leurs recherches les plus sensibles sous clé. Nathan Lambert, ancien chercheur chez Hugging Face et Ai2, et Tom Zick, ancien collaborateur de Harvard et Charles Schwab, font le pari inverse avec Trillium Labs, un nonprofit fondé pour mener des travaux sur des sujets à risque élevé, dont l'auto-amélioration récursive (RSI) et les agents autonomes, en publiant les détails de chaque expérience.
L'idée : permettre à des chercheurs extérieurs de reproduire et d'examiner les résultats. « La méthode scientifique est dans notre boîte à outils depuis des millénaires pour limiter les dommages. La trajectoire fermée actuelle du développement IA est un pas en arrière », déclare Lambert à WIRED.
Le contexte est tendu : les modèles les plus puissants peuvent automatiser la découverte de failles logicielles et lancer des attaques informatiques, ce qui relance le débat sur l'accès ouvert versus restreint. Des acteurs comme Xiaomi publient déjà les détails en direct de leurs entraînements, et Stanford prétraine le modèle Marin en open. Les deux fondateurs se sont rencontrés sur Zoom pendant le COVID-19, alors qu'ils étaient doctorants à UC Berkeley, et ont constaté l'écart grandissant entre la recherche industrielle et le monde académique.