Hugging Face : les évaluateurs IA intégrés loin d'être fiables
Original : Embedded AI evaluators won’t be an easy solution, Hugging Face’s policy chief says
Pourquoi c'est important
La fiabilité des benchmarks conditionne la confiance des régulateurs et du marché envers les modèles d'IA.
Irene Solaiman, directrice des politiques chez Hugging Face, a déclaré lors du TechCrunch Disrupt que les évaluateurs IA intégrés manquent encore de standardisation et de reproductibilité.
Les benchmarks sont au cœur de la crédibilité des grands laboratoires d'IA — mais leur fiabilité reste fragile. Irene Solaiman, chief policy officer de Hugging Face, l'a dit clairement lors du TechCrunch Disrupt : les évaluations sont « une science en évolution » et l'industrie ne sait pas encore comment les comparer entre elles de façon significative. « Elles deviennent inefficaces relativement vite », a-t-elle averti.
La reproductibilité des résultats demeure l'un des points les plus épineux, notamment quand l'accès au modèle lui-même est limité. C'est là qu'intervient l'importance des poids ouverts, selon Solaiman. Par ailleurs, les évaluations ne portent plus seulement sur le modèle isolé, mais sur l'ensemble du système : modèle, harness (l'outil d'accès) et agent. Un modèle moins performant couplé à un meilleur harness peut surpasser un modèle frontier.
Sur la question des évaluateurs tiers intégrés dans les organisations d'IA — solution mise en avant par les labs pour éviter une régulation gouvernementale directe —, Solaiman reste prudente : « Les qualifications pour déterminer qui est un évaluateur efficace nécessitent beaucoup plus de standardisation. » Le choix d'Accenture par Anthropic comme premier évaluateur avait déjà suscité de vives critiques.