임베디드 AI 평가, 쉬운 해법 아니다
원제: Embedded AI evaluators won’t be an easy solution, Hugging Face’s policy chief says
왜 중요한가
AI 안전성 검증의 핵심 수단인 벤치마킹과 제3자 평가의 신뢰성 문제는 규제 방향과 업계 자율 책임 논의 전반에 직결된다.
Hugging Face의 최고정책책임자 Irene Solaiman은 2026년 10월 TechCrunch Disrupt에서 임베디드 AI 평가자 방식이 간단한 해결책이 될 수 없다고 밝혔다. 현재 벤치마킹 방법론은 재현성이 낮고 평가 간 비교가 어려우며, 표준화가 부족해 산업 전반의 신뢰 기반으로 삼기에 아직 미성숙하다고 지적했다.
AI 업계는 모델 성능을 측정하는 벤치마킹에 자사의 평판을 걸어두고 있다. 그러나 Hugging Face의 최고정책책임자 Irene Solaiman은 TechCrunch Disrupt 행사에서 현재의 평가 방법론이 신뢰를 담보하기에는 여전히 불완전하다고 말했다.
Solaiman은 "신뢰는 매우 무게 있는 단어"라며, 평가 결과를 재현할 수 있는지, 모델 자체에 대한 충분한 접근 권한이 있는지가 핵심이라고 강조했다. 오픈 웨이트(open weights) 모델이 이 지점에서 중요한 역할을 한다고 덧붙였다. 그는 또 현재 평가 체계가 "빠르게 무력화되며, 서로를 의미 있게 비교하는 방법도 아직 모른다"고 지적했다.
최근 AI 안전 사고가 잇따르면서 임베디드 평가자—즉 AI 조직 내부에 중립적인 제3자 관찰자를 배치하는 방식—에 대한 관심이 높아지고 있다. 업계는 정부 규제 대신 이 방식을 대안으로 밀고 있지만, 실제 중립성과 효과에 대한 의구심은 사그라들지 않는다. Anthropic이 첫 임베디드 평가자로 컨설팅 기업 Accenture를 선정했을 때 적격성 논란이 불거진 것이 대표적인 예다.
Solaiman은 평가 범위도 모델 단독에서 모델을 둘러싼 전체 시스템—하네스(harness)와 에이전트 포함—으로 확장되고 있다고 설명했다. 사용자가 모델에 접근하는 도구인 하네스의 품질이 성능에 큰 영향을 미치며, 하네스가 우수하면 성능이 낮은 모델도 최첨단 모델을 능가할 수 있다고 밝혔다. 평가자 자격 기준의 표준화 없이는 임베디드 평가 생태계에 대한 수요가 아무리 높아도 실효를 거두기 어렵다는 것이 그의 결론이다.