AI모델은 의도적으로 '바보'가 되고 있다
원제: Models Are Getting Dumber on Purpose
왜 중요한가
파라미터 효율 향상과 지식·추론의 역할 분리가 진행되며、RAG 등 검색 연계 아키텍처의 중요성이 한층 높아지고 있다。
최신 AI 언어 모델은 수학·코딩 벤치마크에서 급격히 성능이 향상되는 반면、사실 기억(SimpleQA)에서는 최고 모델 Gemini 2.5 Pro조차 정답률 53%에 그친다。소형 모델 Qwen3.5 4B·9B의 환각률은 80~82%에 달하며、이는 설계상의 트레이드오프로 분석된다。
GLM-5.2는 약 400억 활성 파라미터로 AIME 2026에서 99.2%를 기록하고、Qwen3.5는 170억 활성 파라미터로 91.3%를 달성했다。DeepSeek V4-Flash는 130억 활성 파라미터로 동작한다。2023년 GPT-4가 약 2,800억 활성 파라미터로 AIME 문제를 간신히 풀었던 것과 비교하면 파라미터당 추론 효율의 급격한 향상이 확인된다。
그러나 도구 사용을 허용하지 않는 사실 기억 벤치마크 SimpleQA에서는 현재 최고 모델도 절반의 질문에 오답을 낸다。Qwen3.5 9B는 특정 사실을 모를 경우 자신 있게 그럴듯한 오답을 생성한다。
'Physics of Language Models' 시리즈 연구에 따르면、사실 지식의 저장에는 파라미터당 약 2비트의 용량이 필요한 것으로 측정됐다。반면 추론 절차는 증류(distillation)와 강화학습으로 소형 모델에 효율적으로 전이된다。Phi-4(140억 파라미터)도 수학에 강하고 상식 퀴즈에 약한 특성을 보이는데、이는 합성 교과서 스타일 데이터 중심의 학습 설계가 반영된 결과다。
또한 사실 정보는 시간이 지나면 낡아지지만、추론 절차는 시대에 무관하게 유효하다。프런티어 모델의 학습에는 수억 달러와 수개월이 소요되며、완료 시점부터 내장된 사실은 이미 구식이 되기 시작한다。이에 따라 AI 연구소들은 사실 기억을 외부 검색에 위임하고、파라미터에는 추론 능력을 우선 탑재하는 전략을 의도적으로 채택하고 있다。