Claude 4.7 का नया टोकनाइजर 47% अधिक महंगा
मूल शीर्षक: Measuring Claude 4.7's tokenizer costs
यह क्यों महत्वपूर्ण है
AI मॉडल की टोकनाइजर दक्षता सीधे उपयोग लागत को प्रभावित करती है।
Anthropic के Claude Opus 4.7 के नए टोकनाइजर ने वास्तविक तकनीकी सामग्री पर 1.47 गुना अधिक टोकन का उपयोग किया। कंपनी का दावा 1.0-1.35 गुना था, लेकिन परीक्षण में यह अधिक निकला। समान मूल्य पर अधिक टोकन खर्च होंगे।
एक स्वतंत्र परीक्षण में Claude Opus 4.7 के नए टोकनाइजर की लागत मापी गई। Anthropic का migration guide कहता था कि नया टोकनाइजर 1.0 से 1.35 गुना अधिक टोकन का उपयोग करेगा, लेकिन वास्तविक परीक्षण में तकनीकी दस्तावेजों पर 1.47 गुना अधिक पाया गया। परीक्षण में दो बैच का उपयोग हुआ: पहले में सात वास्तविक Claude Code उपयोगकर्ता फ़ाइलें शामिल थीं जैसे CLAUDE.md फ़ाइल (1.445 गुना), उपयोगकर्ता प्रॉम्प्ट (1.373 गुना), ब्लॉग पोस्ट (1.368 गुना)। दूसरे बैच में बारह प्रकार की सिंथेटिक सामग्री थी। अंग्रेजी और कोड सामग्री सबसे अधिक प्रभावित हुई (1.20-1.47 गुना), जबकि चीनी और जापानी भाषा की सामग्री केवल 1.01 गुना प्रभावित हुई। इसका अर्थ है कि समान कीमत पर उपयोगकर्ताओं को अधिक टोकन की खपत होगी, तेजी से rate limit और अधिक cached prefix लागत आएगी।