Claude 4.7 새 토크나이저, 실제 비용 47% 증가 측정
원제: Measuring Claude 4.7's tokenizer costs
왜 중요한가
AI 모델의 토크나이저 변경이 사용자 비용에 미치는 실제 영향을 정량적으로 분석한 중요한 연구
Anthropic의 Claude Opus 4.7 마이그레이션 가이드에서는 새 토크나이저가 4.6 대비 1.0-1.35배 더 많은 토큰을 사용한다고 했지만, 실제 기술 문서 측정에서는 1.47배, 실제 CLAUDE.md 파일에서는 1.45배 증가한 것으로 나타났다.
한 개발자가 Claude 4.7의 새로운 토크나이저 비용을 실측한 결과, Anthropic의 공식 발표보다 높은 토큰 증가율을 기록했다. POST /v1/messages/count_tokens API를 사용해 동일한 콘텐츠로 4.6과 4.7 모델을 비교 측정했다. 실제 Claude Code 사용자가 전송하는 7개 샘플(CLAUDE.md 파일, 사용자 프롬프트, 블로그 포스트, 깃 로그, 터미널 출력, 스택 트레이스, 코드 차이)을 분석한 결과 가중 평균 1.325배 증가했다. 콘텐츠 유형별로는 기술 문서가 1.47배로 가장 높았고, 셸 스크립트 1.39배, TypeScript 코드 1.36배 순이었다. 중국어와 일본어 등 CJK 언어는 1.01배로 거의 변화가 없었다. 영어와 코드 콘텐츠에서 토큰 증가가 두드러졌는데, 이는 4.7이 일반적인 영어 및 코드 패턴에 대해 더 짧거나 적은 서브워드 병합을 사용하기 때문으로 분석된다. 동일한 가격과 할당량에서 더 많은 토큰을 사용해 최대 윈도우가 빨리 소진되고 캐시된 접두사 비용이 증가하며 속도 제한에 더 빨리 도달하게 된다.