AI 신뢰점수가 만드는 가짜 안심
원제: The Normalization of Inexplicable Failures
왜 중요한가
eval 없는 AI 도입 관행이 확산될수록 신뢰점수는 품질 보증이 아닌 면피 수단으로 전락할 위험이 있다.
TypeSafe AI의 'Jev'는 타입 값과 확률 추정치를 반환하는 AI 모델로 속도·저비용을 강점으로 주목받고 있다。2026년 9월 27일, 기술 블로그 'ihatethefuture.com'은 신뢰점수의 캘리브레이션 부재와 eval 없는 도입이 실패를 정상화한다고 비판했다.
TypeSafe AIが개발한 AI 모델 Jev는 구조화된 타입 출력과 함께 확률 기반 신뢰점수를 반환하는 것이 특징으로, 빠른 응답 속도와 낮은 비용이 주목받고 있다. 그러나 기술 블로그 'I Hate the Future'는 이 제품의 실사용 방식에 근본적인 문제가 있다고 주장한다.
필자가 지적하는 첫 번째 문제는 eval 부재다. Jev가 제대로 작동하는지 확인하려면 평가 파이프라인과 ground-truth 데이터가 필요하지만, 실제로 이를 구축하는 팀은 거의 없다. 대부분은 불투명한 질문을 던지고 불투명한 답을 받아 그대로 출시한다. 장애가 발생하면 "AI는 원래 실수한다"는 말로 넘어간다는 것이다.
두 번째는 신뢰점수의 허상이다. Jev의 문서는 '아무것도 하지 않을' 임계값으로 0.5를, '고위험 행동'에는 0.9를 예시로 제시하면서도 "정확한 임계값은 도메인과 모델 성능에 따라 다르다"는 단서를 단다. 필자는 이 점수가 캘리브레이션 근거 없이 제시되며, 실무에서는 화물 숭배(cargo cult) 방식으로 소비된다고 꼬집는다. '73% 신뢰도'가 '에러 예산 27%'라는 그릇된 해석으로 이어지는 식이다.
세 번째는 책임 구조의 붕괴다. 기존 소프트웨어 장애는 HTTP 500 뒤에 담당자가 있지만, AI 출력 실패는 그 소유권 자체가 불명확하다. 결국 사용자만 "이 기능이 왜 이러냐"며 혼란을 겪는다.