4Bオープンモデル、GPT-5.6 Solを100分の1のコストで超越
मूल शीर्षक: Beating GPT-5.6 Sol on retrieval with 100x cheaper open models
यह क्यों महत्वपूर्ण है
Frontier मॉडलों की 100 गुना कम लागत पर समान retrieval सटीकता, AI agent विकास की आर्थिक बाधाओं को कम करती है।
Castform और Neon ने एक 4 बिलियन पैरामीटर का open-source मॉडल post-train किया, जो retrieval सटीकता में GPT-5.6 Sol के बराबर प्रदर्शन करता है और लागत 100 गुना कम है। यह उपलब्धि 2026 में सामने आई।
Castform और Neon ने मिलकर एक 4B (4 बिलियन पैरामीटर) open-source मॉडल को Reinforcement Learning (RL) post-training के जरिए इस स्तर तक पहुँचाया कि वह search retrieval कार्यों में GPT-5.6 Sol की बराबरी करता है। जबकि frontier मॉडल GPT-5.6 Sol के साथ एक सामान्य multi-turn search request में 10 सेकंड से अधिक समय और लगभग $0.03 प्रति अनुरोध का खर्च आता है, वहीं यह नया समाधान 100 गुना सस्ता है।
पृष्ठभूमि में, 2022 के आसपास embedding-based RAG pipeline का प्रचलन था और pgvector Neon का सबसे अधिक डाउनलोड किया जाने वाला extension था। 2025 तक AI agents का उपयोग बढ़ा और retrieval एक-बार की query से बदलकर multi-hop agentic search में परिवर्तित हो गई, जिससे प्रत्येक loop iteration में frontier model को बार-बार call करने की जरूरत पड़ती थी और लागत बढ़ती गई।
इस समस्या को हल करने के लिए Castform ने Neon के Lakebase Search का उपयोग किया। इस pipeline में raw documents Neon के Postgres में संग्रहीत होते हैं, Castform का training pipeline lakebase_text और lakebase_vector extensions का उपयोग करके synthetic training data तैयार करता है, और RL post-training के जरिए model की search क्षमता को विशेष रूप से बेहतर बनाया जाता है।
Castform के सह-संस्थापक Ying Hang Seah के अनुसार, "अधिकांश teams का सबसे अच्छा training data उनके databases में बैठा रहता है। Castform को Neon से जोड़ने पर raw data को usable बनाने और agents को सस्ते में डेटा पढ़ने-लिखने की दोनों समस्याएँ हल हो जाती हैं।" Castform का लक्ष्य RL post-training को prompt engineering जितना सरल बनाना है।