स्थानीय AI को मानक बनाना जरूरी
मूल शीर्षक: Local AI needs to be the norm
यह क्यों महत्वपूर्ण है
local AI adoption privacy और performance बेहतर बनाकर software development में paradigm shift ला सकता है।
एक डेवलपर ने तर्क दिया कि cloud-based AI APIs पर निर्भरता के बजाय local AI models का उपयोग करना चाहिए। उन्होंने The Brutalist Report iOS app में Apple के on-device model APIs का उपयोग करके article summaries generate करने का उदाहरण दिया।
unix.foo पर प्रकाशित एक ब्लॉग पोस्ट में डेवलपर ने कहा कि modern software में OpenAI या Anthropic APIs पर निर्भरता एक समस्या है। उनके अनुसार cloud-hosted AI models पर dependency वाले applications fragile हैं, privacy invade करते हैं और fundamentally broken हैं। जब server crash हो या credit card expire हो जाए तो ये applications काम करना बंद कर देते हैं। लेखक ने बताया कि आज के devices में powerful Neural Engines हैं जो mostly idle रहते हैं जबकि हम Virginia के server farms से JSON response का इंतजार करते हैं। उन्होंने The Brutalist Report का उदाहरण दिया, जो एक news aggregator है जिसके iOS client में Apple के local model APIs का उपयोग करके on-device article summaries generate की जाती हैं। इसमें कोई server detours, prompt logs या vendor accounts की जरूरत नहीं। उन्होंने बताया कि Apple ने पिछले साल इस क्षेत्र में heavy investment की है और developers को built-in local AI model का आसानी से उपयोग करने की सुविधा दी है।