AIベンチマーク、米就業時間の90%をカバーできず
原題: 90% of US working hours are spent on tasks not covered well by AI benchmarks
なぜ重要か
AIの「仕事代替」議論の前提となるベンチマークが経済の10%しか見ていない事実は、AI投資・政策・採用判断すべてに影響する構造的な盲点だ。
人材テック企業Mercorは、米国の923職種・18,797タスクを対象にAIベンチマークのカバレッジを調査した結果、既存の29ベンチマークでは米国の就業時間の90%に当たるタスクがほぼ評価されていないことを明らかにした。調査はO*NET分類体系を用い、5プロンプト以上のベンチマークで評価されている職種はわずか208種にとどまる。
Mercorが公開した「Benchmark Map」は、米労働省のO*NET分類を基に、923職種・18,797タスクとAIベンチマーク29件の対応関係を可視化したものだ。結果は率直に言って厳しい。5つ以上のベンチマークプロンプトで評価されている職種は208種のみで、22の職務ファミリーのうち6つは1件も該当しない。
カバレッジの偏りも顕著だ。コンピュータ・数学系（36職種中29職種）やビジネス・金融系（48職種中33職種）は相対的に手厚い一方、ヘルスケア専門職（89職種中12職種）や教育・図書館系（62職種中9職種）は大幅に少ない。また、弁護士のタスクは多くカバーされているにもかかわらず、同様にAIの影響を受けやすいとされる法律秘書や法廷書記はほとんど評価されていない。
Mercorの分析によると、ベンチマークのカバレッジは職種の「賃金総額」と正の相関がある。つまり、AIコミュニティは経済規模の大きい労働市場から順に評価しており、中間所得層の知識労働職は置き去りにされている格好だ。Eloundou et al.（2023）のAI露出度データとBLSの賃金データを組み合わせたタスクレベルのロジスティック回帰でも、この傾向が統計的に裏付けられている。
同社はこのBenchmark Mapを「第一歩」と位置付けており、経済全体のAIモデル能力を継続的に更新・追跡するリソースとして拡充していく方針を示している。現状では、AIモデルが実際の仕事をどれほどこなせるかを測る指標が根本的に不足しており、評価の空白が意思決定を歪めるリスクがある。