Claude 4.7の新トークナイザーでコストが47%増
原題: Measuring Claude 4.7's tokenizer costs
なぜ重要か
主要AIモデルのトークン効率変化はAPI利用コストと処理速度に直接影響し、開発者の運用戦略に重要な指針を提供する
Anthropicは新しいClaude 4.7のトークナイザーでトークン数が1.0-1.35倍になると発表したが、実際の技術文書で測定すると1.47倍、実際のCLAUDE.mdファイルで1.45倍となった。英語とコード処理で大幅な増加が確認された。
Claude Code Campの調査によると、AnthropicのClaude Opus 4.7の新トークナイザーは公式発表よりも多くのトークンを消費することが判明した。同社は「約1.0-1.35倍のトークン数」と説明していたが、実際の測定では技術文書で1.47倍、実際のCLAUDE.mdファイルで1.45倍という結果となった。
調査では2つの実験が行われた。1つ目は実際のClaude Codeユーザーが送信する7つのサンプル（CLAUDE.mdファイル、ユーザープロンプト、ブログ記事、git ログ、ターミナル出力、スタックトレース、コード差分）を使用し、加重平均で1.325倍の増加を確認した。2つ目は12の合成サンプルで異なるコンテンツタイプをテストした。
結果として、中国語・日本語・韓国語（CJK）と絵文字、記号コンテンツは1.005-1.07倍の軽微な増加に留まった一方、英語とコードは1.20-1.47倍の大幅な増加を示した。特にコードは散文よりも大きく影響を受け（1.29-1.39倍対1.20倍）、これはByte-Pair Encodingがコード内の頻出パターンを長いマージに統合するためと分析されている。英語での文字数対トークン比は4.33から3.60に低下した。