Transformer की असली जड़ें: Associative Memory
मूल शीर्षक: You could have invented transformers from memory
यह क्यों महत्वपूर्ण है
Transformer के वैकल्पिक गणितीय आधार समझने से नए Architecture खोजने की संभावना बनती है।
Alex Wang के ब्लॉग पोस्ट में तर्क दिया गया है कि Transformer architecture को Associative Memory के सिद्धांतों से स्वतंत्र रूप से खोजा जा सकता था। यह लेख गणितीय आधार पर Self-Attention और Memory Retrieval के बीच संबंध स्थापित करता है।
Alex Wang का यह ब्लॉग पोस्ट एक दिलचस्प वैचारिक यात्रा प्रस्तुत करता है — कि अगर कोई शोधकर्ता Associative Memory के गणित को अच्छी तरह जानता हो, तो वह Transformer को बिना किसी पूर्व जानकारी के स्वयं निकाल सकता था।
पोस्ट का मूल तर्क यह है कि Hopfield Networks जैसे पुराने Associative Memory मॉडल और आधुनिक Attention Mechanism के बीच एक गहरा गणितीय रिश्ता है। Key-Query-Value की संरचना को Memory Storage और Retrieval के फ्रेमवर्क से सीधे व्युत्पन्न किया जा सकता है। Softmax operation, जो Attention में केंद्रीय भूमिका निभाती है, वह Associative Memory में Pattern Retrieval की प्रक्रिया से स्वाभाविक रूप से उभरती है।
लेखक ने MathJax के ज़रिए विस्तृत गणितीय अभिव्यक्तियाँ शामिल की हैं, जो Matrices और Vectors के माध्यम से इस संबंध को औपचारिक रूप देती हैं। पोस्ट यह नहीं कहती कि Transformer के मूल लेखकों ने इसी रास्ते से सोचा था, बल्कि यह दिखाती है कि एक वैकल्पिक वैचारिक मार्ग से उसी गंतव्य तक पहुँचना संभव था। यह नज़रिया Transformer को एक अलग कोण से समझने में मदद करता है।