GPT-5.6移行で2.2倍高速・27%コスト削減
मूल शीर्षक: Migrating a production AI agent to GPT-5.6: 2.2x faster, 27% cheaper
यह क्यों महत्वपूर्ण है
यह case study दिखाता है कि frontier model migration में eval harness की bias एक बड़ी चुनौती है, जो production AI development के लिए महत्वपूर्ण सबक है।
AI मार्केटिंग टूल Ploy ने अपने production AI agent को Claude Opus 4.8 से GPT-5.6 Sol पर migrate किया। इससे build speed 2.2x तेज़ हुई, लागत 27% कम हुई, और गुणवत्ता समान या बेहतर रही। यह बदलाव जुलाई 2026 में लागू हुआ।
AI वेबसाइट बिल्डर कंपनी Ploy ने घोषणा की कि उसने अपने production AI agent का default model Claude Opus 4.8 से OpenAI के नए GPT-5.6 Sol पर switch किया है। Ploy के co-founder Lorenzo Gentile ने 9 जुलाई 2026 को यह जानकारी दी।
Ploy का AI agent असली marketing websites बनाता और edit करता है — यह page plan करता है, codebase पढ़ता है, components लिखता है, image generate करता है, और अपने काम का screenshot लेकर खुद तय करता है कि काम पूरा हुआ या नहीं। इस जटिल काम के लिए model की गुणवत्ता का बार बेहद ऊँचा था।
पिछले चार महीनों से Claude Opus (पहले 4.7, फिर 4.8) default model था। कंपनी ने हर नए frontier model को test किया, लेकिन कोई भी Opus को नहीं हरा सका — जब तक GPT-5.6 नहीं आया।
पहले eval run में कुछ failure modes थे, जिनमें से कई model की नहीं बल्कि eval harness की गलतियाँ थीं। उदाहरण के लिए, tool-call budgets Opus की sequential style के लिए बनाए गए थे, जबकि GPT-5.6 parallel calls करता है। Batched file reads का support भी harness में नहीं था जिसे GPT-5.6 अधिक use करता है। करीब एक-तिहाई raw failures harness की assumptions से थीं, model की कमज़ोरी से नहीं।
Migration के दौरान tool schemas, prompt caching, और reasoning replay को ठीक करना पड़ा। Vercel AI SDK जैसे universal LLM SDK use करने के बावजूद, provider-specific behaviors की वजह से यह migration काफी complex रहा।
अंतिम नतीजे: builds 2.2x कम wall-clock time में पूरी हुईं, लागत 27% घटी, और completed work की quality Opus के बराबर या उससे बेहतर रही।