Vals : a16z mise 40M$ sur le benchmarking IA
Original : Vals, backed by Andreessen Horowitz, is looking to become the gold standard for AI benchmarking
Pourquoi c'est important
Avec l'IA intégrée partout, des benchmarks fiables deviennent une condition de confiance sectorielle.
Vals, startup fondée en 2024 à San Francisco, a levé 40 millions de dollars en série A menée par Andreessen Horowitz. Son objectif : remplacer les benchmarks académiques obsolètes par des évaluations sectorielles concrètes (droit, finance, code) pour mesurer ce que les modèles IA font réellement.
Le benchmarking IA est devenu un outil de communication autant qu'un instrument de mesure. Problème : les entreprises ont appris à optimiser leurs modèles contre des tests publics, rendant ces résultats peu fiables. Vals s'attaque à cette dérive.
Fondée en 2024 par Rayan Krishnan, 25 ans, ancien stagiaire chez Palantir et Stanford AI Lab, la startup a d'abord levé un seed round auprès de 8VC et Bloomberg Beta, avant de décrocher 40 millions de dollars en série A le mois dernier, portés par Andreessen Horowitz.
La différence clé : Vals ne publie pas ses tests. Impossible donc de s'y entraîner à l'avance. Plutôt que de mesurer des connaissances générales — « est-ce qu'un modèle peut passer un examen de barreau ? » — la plateforme évalue la capacité des modèles à accomplir des tâches réelles dans des secteurs précis : droit, finance, développement logiciel. L'objectif déclaré est de vérifier si le résultat produit par un modèle atteint la qualité d'un travail humain. Krishnan résume : « Nous regardons les impacts réels des modèles. Peuvent-ils produire un travail de même qualité qu'un humain dans chaque domaine ? » Les évaluations portent aussi bien sur les résultats positifs que négatifs.