90% des heures de travail US hors couverture IA
Original : 90% of US working hours are spent on tasks not covered well by AI benchmarks
Pourquoi c'est important
Sans benchmarks représentatifs, l'évaluation réelle des modèles IA reste un angle mort pour l'industrie.
Mercor Research révèle que 90% des heures travaillées aux États-Unis concernent des tâches absentes des benchmarks IA existants. Sur 18 797 tâches O*NET, seules 924 prompts couvrent 208 des 923 métiers répertoriés.
La société Mercor a publié une « Benchmark Map » cartographiant la couverture des benchmarks IA sur l'ensemble de l'économie américaine. Résultat : sur les 923 métiers recensés par la taxonomie O*NET du département du Travail américain, seuls 208 disposent d'au moins 5 prompts de benchmark. Six des 22 familles de métiers ne bénéficient d'aucune couverture significative.
La répartition n'est pas aléatoire. Les benchmarks existants privilégient les marchés du travail les plus larges et les mieux rémunérés. Exemple frappant : les tâches des avocats exposés à l'IA sont bien couvertes, tandis que celles des secrétaires juridiques ou des greffiers — pourtant exposés de façon similaire — sont quasi absentes des tests. Tout un segment de métiers intermédiaires à revenus moyens reste dans l'angle mort.
Mercor a compilé 29 benchmarks pour construire cet index, en s'appuyant sur les étiquettes d'exposition à l'IA issues de l'étude Eloundou et al. (2023). La conclusion est directe : en l'état actuel, il est très difficile de mesurer réellement ce que les modèles IA savent faire dans le travail quotidien des Américains. Cette carte se veut la première étape d'une ressource en continu.