Anthropic développe un système d'identité pour les IA
Original : Anthropic is working on a system to prove AI models’ identity
Pourquoi c'est important
La confiance dans l'identité des modèles devient un enjeu central à mesure que l'IA s'intègre dans des processus critiques.
Anthropic a publié mardi un article sur FlashProve, un système open source de vérification cryptographique permettant de prouver qu'une sortie provient bien d'un modèle d'IA spécifique.
FlashProve repose sur le principe de « provable inference » : une preuve mathématique cryptographique garantissant qu'une réponse émane d'un modèle précis. Concrètement, chaque lab publierait une « empreinte » de ses modèles, utilisable ensuite pour vérifier les sorties — sans exposer les poids du modèle, que des acteurs comme Anthropic ou OpenAI gardent jalousement secrets.
Le système cible plusieurs cas d'usage. Il permettrait d'empêcher un lab de substituer discrètement un modèle bon marché à un modèle premium, ou d'invalider des résultats gonflés artificiellement. Des tiers pourraient aussi l'utiliser pour attester qu'une tâche — audit de sécurité logicielle, validation d'un plan d'affaires — a bien été réalisée par le modèle annoncé.
Conçu pour être léger, FlashProve pourrait fonctionner en vérification locale sur un appareil. Anthropic a publié une spécification technique détaillée et du code fonctionnel sur GitHub sous licence open source. Aucun déploiement n'est prévu pour l'instant : « Nous partageons ces travaux intermédiaires explicitement pour que d'autres les prennent et les améliorent », précisent les chercheurs.