LLM एजेंट्स के बैकएंड कोड जेनरेशन में कमज़ोरी
मूल शीर्षक: Constraint Decay: The Fragility of LLM Agents in Back End Code Generation
यह क्यों महत्वपूर्ण है
यह दिखाता है कि coding agents के लिए functional और structural दोनों requirements satisfy करना अभी भी बड़ी चुनौती है
शोधकर्ताओं ने पाया कि LLM एजेंट्स में structural constraints के साथ कोड जेनरेशन में 'constraint decay' होता है। 80 greenfield और 20 feature-implementation टास्क में capable configurations का assertion pass rate 30 पॉइंट गिरा।
Francesco Dente और साथियों के शोध में LLM एजेंट्स की backend code generation में structural constraints को handle करने की क्षमता का अध्ययन किया गया। उन्होंने 80 greenfield generation tasks और 20 feature-implementation tasks में 8 web frameworks पर unified API contract के साथ evaluation किया। मुख्य निष्कर्ष 'constraint decay' phenomenon है - जैसे-जैसे structural requirements बढ़ती हैं, एजेंट performance में significant decline होती है। Capable configurations में baseline से fully specified tasks तक औसतन 30 points की गिरावट देखी गई, जबकि कमज़ोर configurations zero के करीब पहुंच गईं। Framework sensitivity analysis में पता चला कि agents minimal, explicit frameworks (Flask) में succeed करते हैं लेकिन convention-heavy environments (FastAPI, Django) में significantly worse perform करते हैं। Error analysis से पता चला कि data-layer defects जैसे incorrect query composition और ORM runtime violations मुख्य कारण हैं।