Claude 4.7 tokenizer baru meningkatkan biaya token 47%
Judul asli: Measuring Claude 4.7's tokenizer costs
Mengapa Ini Penting
Perubahan tokenizer Claude 4.7 meningkatkan biaya operasional AI secara signifikan
Pengujian menunjukkan Claude Opus 4.7 menggunakan 1,47x lebih banyak token dibanding 4.6 untuk konten teknis, melebihi estimasi resmi Anthropic 1,0-1,35x. Dampak terbesar pada kode dan bahasa Inggris.
Peneliti Abhishek Ray mengukur biaya tokenizer baru Claude Opus 4.7 menggunakan API count_tokens Anthropic. Hasil menunjukkan peningkatan token 47% untuk dokumen teknis dan 45% untuk file CLAUDE.md nyata, melebihi kisaran resmi 1,0-1,35x. Pengujian dilakukan pada dua kelompok sampel: tujuh konten real dari pengguna Claude Code dan 12 sampel sintetis berbagai jenis konten. Kode dan bahasa Inggris terdampak paling berat (1,20-1,47x), sementara bahasa CJK hanya naik 1,01x. Chars-per-token bahasa Inggris turun dari 4,33 ke 3,60. Peningkatan ini mempengaruhi rate limit, cached prefix cost, dan konsumsi quota lebih cepat meskipun harga tetap sama.