न्यूरल नेटवर्क पहले से साफ हैं
मूल शीर्षक: Neural networks are clean
यह क्यों महत्वपूर्ण है
अगर यह hypothesis सही है, तो AI interpretability research की दिशा और उसका खर्च दोनों बदल सकते हैं।
Goodfire के researcher Nick Cammarata ने दावा किया कि neural networks में polysemanticity का कारण superposition नहीं, बल्कि साधारण architectural समस्याएँ थीं। InceptionV1 के अंतिम layer में अब 99-100% neurons आसानी से समझे जा सकते हैं।
Goodfire के Nick Cammarata ने एक विस्तृत शोध निबंध में यह तर्क दिया है कि mechanistic interpretability की राह पहले से कहीं अधिक सरल है। वर्षों तक यह माना जाता रहा कि neural networks "polysemantic" होती हैं — यानी एक ही neuron कई असंबंधित अवधारणाओं को एक साथ encode करता है। इसकी सबसे प्रसिद्ध मिसाल InceptionV1 का वह neuron था जो बिल्लियों के चेहरे और कार के आगे के हिस्से, दोनों पर सक्रिय होता था।
इसकी व्याख्या के लिए superposition hypothesis सामने आई — जिसके अनुसार जब network में neurons कम पड़ जाते हैं, तो वह असंबंधित अवधारणाओं को एक साथ "fold" कर देता है। इस सोच के चलते field ने network को सीधे समझने की बजाय Sparse Autoencoder जैसे decomposition tools की ओर रुख किया।
Cammarata का निष्कर्ष अलग है। उनके अनुसार InceptionV1 की late layers में जो अव्यवस्था दिखती थी, वह superposition नहीं बल्कि architectural कमज़ोरियों और कमज़ोर interpretability tools का नतीजा थी। जब उन्होंने बेहतर architectural design के साथ — बिना model size या training data बदले — दोबारा अध्ययन किया, तो InceptionV1 की अंतिम layer के 99-100% neurons स्पष्ट रूप से समझ में आए। वे इस pattern को "recursive generalization" कहते हैं, जो superposition से कहीं कम चिंताजनक है। उनका दावा है कि trillion-parameter models तक के अधिकांश neurons को सीधे समझा जा सकता है।