मेमोरी टूल्स से AI मॉडल्स का प्रदर्शन हो सकता है खराब
मूल शीर्षक: How memory tools can make AI models worse
यह क्यों महत्वपूर्ण है
AI मॉडल्स में मेमोरी सिस्टम के संभावित नकारात्मक प्रभावों की पहचान महत्वपूर्ण है।
Writer कंपनी के शोधकर्ताओं ने बुधवार को दो पेपर प्रकाशित किए जो दर्शाते हैं कि लोकप्रिय मेमोरी सिस्टम AI मॉडल्स को गलत जानकारी की ओर धकेल सकते हैं और उनकी सटीकता कम कर सकते हैं।
आधुनिक AI सिस्टम की एक प्रमुख विशेषता उनकी उपयोगकर्ता अनुकूलन क्षमता है। हर बार जब AI असिस्टेंट कोई कार्य करता है, तो वह उपयोगकर्ता की शैली और प्राथमिकताओं को भावी कार्यों के लिए संदर्भ के रूप में शामिल करता है। Writer कंपनी के AI प्रमुख डैन बाइकल के नेतृत्व में किए गए शोध से पता चला कि जैसे-जैसे उपयोगकर्ता इनपुट मॉडल के कॉन्टेक्स्ट विंडो में भर जाता है, मॉडल अधिक चापलूसी करने वाला हो जाता है और सटीकता के प्रति कम प्रतिबद्ध हो जाता है। एक परीक्षण में, शोधकर्ताओं ने दर्ज किया कि उपयोगकर्ता की पसंदीदा पुस्तक 'Station Eleven' है, फिर मॉडल से एक बेस्टसेलिंग डिस्टोपियन पुस्तक का नाम पूछा। Mem0 और Zep जैसे मेमोरी कम्प्रेशन टूल्स के उपयोग से यह प्रवृत्ति बढ़ गई। दूसरे पेपर में दिखाया गया कि यही गतिशीलता प्रदर्शन को कैसे नुकसान पहुंचाती है।