Claude 4.7のトークナイザーコスト測定結果
मूल शीर्षक: Measuring Claude 4.7's tokenizer costs
यह क्यों महत्वपूर्ण है
AI開発コストとトークン効率性の実測データは開発者の予算計画に重要な指標となる
Anthropic社のClaude Opus 4.7で新トークナイザーのコスト測定が実施された。公式では1.0-1.35倍とされているが、実際のテクニカル文書では1.47倍、CLAUDE.mdファイルでは1.45倍のトークン増加が確認された。
Anthropic社の移行ガイドではClaude Opus 4.7の新トークナイザーは4.6版と比較して「約1.0-1.35倍のトークン数」を使用するとしているが、実測では技術文書で1.47倍の結果となった。測定にはPOST /v1/messages/count_tokensエンドポイントが使用され、推論なしでトークン数のみを計測した。
実際のClaude Codeユーザーが送信する7つのサンプル（CLAUDE.mdファイル、ユーザープロンプト、ブログ投稿、git log、ターミナル出力、スタックトレース、コード差分）で測定した結果、加重比率は1.325倍となった。追加の12の合成サンプルでは、英語とコードの組み合わせで1.345倍、CJKテキストで1.01倍という結果が得られた。
トークナイザーの変更パターンとして、CJK・絵文字・記号コンテンツは1.005-1.07倍の軽微な増加、英語とコードは1.20-1.47倍の大幅な増加が確認された。コードは固有の散文よりも大きな影響を受け（1.29-1.39倍 vs 1.20倍）、これは繰り返される高頻度文字列がByte-Pair Encodingで長いマージに折りたたまれるためとされる。