AI 벤치마크, 미국 노동시간 90% 미포함
원제: 90% of US working hours are spent on tasks not covered well by AI benchmarks
왜 중요한가
AI 모델의 실제 업무 성능을 평가하는 벤치마크가 경제 전반의 노동을 대표하지 못한다면, 기업과 정책 입안자의 AI 도입 결정 근거 자체가 편향될 수 있다.
채용 플랫폼 Mercor의 연구에 따르면, 현존하는 AI 벤치마크 29개가 미국 노동부 O*NET 기준 923개 직종 중 208개, 18,797개 업무 중 924개만을 다루며, 미국 근로시간의 90%에 해당하는 업무는 벤치마크 적용 범위가 거의 없는 것으로 나타났다.
Mercor Research가 공개한 'Benchmark Map'은 미국 노동부의 O*NET 분류 체계를 기반으로 AI 벤치마크의 경제적 커버리지를 분석한 결과물이다. O*NET은 미국 노동인구를 923개 직종, 총 18,797개 업무로 세분화하는데, Mercor가 수집한 29개 벤치마크를 대조한 결과 5개 이상의 벤치마크 프롬프트가 매핑된 직종은 208개에 불과했다. 22개 직업군 중 6개는 해당 기준을 충족하는 직종이 단 하나도 없었다.
커버리지 편중도 두드러진다. Computer & Math 분야는 36개 직종 중 29개가 포함된 반면, Healthcare Practitioners는 89개 중 12개, Education & Library는 62개 중 9개에 그쳤다. 연구팀은 직업별 임금 총액(wage bill)과 AI 노출도를 기반으로 로지스틱 회귀분석을 수행했으며, 임금 총액이 클수록 벤치마크 커버리지 확률이 높아지는 경향을 확인했다.
구체적인 사례로, AI 노출도가 유사한 직종임에도 변호사(Lawyers) 업무는 상당수 포함된 반면, 법률 비서(Legal Secretaries)나 법원 서기(Court Clerks)의 O*NET 업무는 거의 포함되지 않았다. 중간 소득대 지식노동 직종의 업무가 전반적으로 저평가되는 구조다. Mercor는 이 Benchmark Map을 AI 역량의 경제 전반 이해를 위한 첫 단계로 제시하며, 향후 지속 업데이트할 계획이라고 밝혔다.