AI एजेंट और JavaScript फ्रेमवर्क: बेंचमार्क
मूल शीर्षक: The AI cost of JavaScript frameworks
यह क्यों महत्वपूर्ण है
AI-driven डेवलपमेंट में फ्रेमवर्क चुनाव को डेटा से परखने की पहली गंभीर कोशिश, जो 'vibe coding' संस्कृति पर सवाल उठाती है।
Nolan Lawson ने Opus 5.5 एजेंट से Next.js, Nuxt, SvelteKit जैसे फ्रेमवर्क में Pokémon ऐप बनवाकर टोकन खर्च, समय, कोड लाइनें और Lighthouse स्कोर मापे।
वेब डेवलपमेंट समुदाय में यह दावे आम हैं कि फलां फ्रेमवर्क 'AI एजेंट के लिए बेहतर है' या उससे 'कम गलतियाँ होती हैं' — लेकिन इनके पीछे कोई ठोस डेटा नहीं होता। Nolan Lawson ने इस 'vibes-based' संस्कृति को चुनौती देने के लिए एक व्यावहारिक बेंचमार्क तैयार किया।
प्रयोग में Claude Opus 5.5 को 'high effort' मोड में PokéAPI पर आधारित एक Pokémon ऐप बनाने को कहा गया — जिसमें Pokémon की सूची, टाइप, मूव्स, सर्च और फ़िल्टर जैसे फीचर थे। हर फ्रेमवर्क के लिए उसका आधिकारिक MCP या skill इस्तेमाल किया गया ताकि प्रतिनिधित्व का सवाल न उठे। एजेंट को SSR बनाम CSR या परफॉर्मेंस पर ज़ोर देने जैसे कोई निर्देश नहीं दिए गए।
आउटपुट को एक conformance test suite से जाँचा गया — जिससे 'एजेंट चीटिंग' रोकी जा सके। मेट्रिक्स में शामिल थे: डेवलपमेंट समय, खर्च हुए टोकन, कोड की लाइनें, और Lighthouse के परफॉर्मेंस व एक्सेसिबिलिटी स्कोर। CSS के लिए Tailwind या Bootstrap नहीं, बल्कि spec tokens से visual consistency तय की गई।
Lawson ने खुद माना कि यह एक 'holotype' है — content-heavy साइट, Wikipedia जैसी, GMail या Figma जैसी जटिल नहीं। फिर भी उनका तर्क है कि बिना किसी बेंचमार्क के फ्रेमवर्क बदलने के दावे निराधार हैं।