90% Jam Kerja AS Tak Tercakup Benchmark AI
Judul asli: 90% of US working hours are spent on tasks not covered well by AI benchmarks
Mengapa Ini Penting
Tanpa benchmark yang representatif, klaim kemampuan AI di dunia kerja nyata sulit diverifikasi.
Riset Mercor: hanya 208 dari 923 pekerjaan AS punya minimal 5 prompt benchmark AI. Artinya 90% jam kerja nyata tak terukur kemampuan AI-nya.
Mercor Research menerbitkan 'Benchmark Map', peta pertama yang memetakan sejauh mana benchmark AI mencakup pekerjaan nyata di Amerika Serikat. Dari 923 okupasi yang dikatalogkan O*NET milik Departemen Tenaga Kerja AS—yang terdiri dari 18.797 tugas—hanya 208 okupasi memiliki setidaknya 5 prompt benchmark. Enam dari 22 keluarga pekerjaan sama sekali tidak tercakup.
Hasilnya mengejutkan: 90% jam kerja orang Amerika dihabiskan untuk tugas-tugas yang hampir atau sama sekali tidak diukur oleh benchmark AI yang ada saat ini. Dengan kata lain, komunitas AI sebetulnya tidak tahu seberapa mampu model mereka menangani pekerjaan yang benar-benar dilakukan jutaan orang.
Cakupan benchmark pun tidak merata. Data Mercor menunjukkan pola jelas: pekerjaan dengan nilai upah besar (wage bill tinggi) lebih mungkin tercakup. Contohnya, tugas pengacara yang terekspos AI cukup banyak di-benchmark, sementara sekretaris hukum atau juru catatan pengadilan—yang eksposur AI-nya serupa—nyaris tidak masuk radar. Pekerjaan knowledge work kelas menengah dengan skala lebih kecil tampak paling terabaikan. Mercor menyebut peta ini sebagai langkah awal membangun sumber daya komprehensif untuk memahami kapabilitas AI di seluruh ekonomi.