e-means: k-means से 10 गुना तेज़ क्लस्टरिंग
मूल शीर्षक: E-means: Outperforming k-means in one-tenth the epochs
यह क्यों महत्वपूर्ण है
k-means ML का बुनियादी टूल है; 10x तेज़ी से VQ-VAE, vector quantization और large-scale indexing सस्ते होंगे।
Meta FAIR के शोधकर्ताओं ने e-means एल्गोरिद्म ओपन-सोर्स किया है, जो Lloyd के k-means से ~10 गुना कम epochs में बेहतर loss हासिल करता है। यह faiss लाइब्रेरी में उपलब्ध है।
Meta FAIR के Swann Bessa और उनके सहयोगियों — Pierre-Emmanuel Mazaré, Gergely Szilvasy, Hugo Touvron, David Picard, Matthijs Douze और Hervé Jégou — ने e-means नाम का नया क्लस्टरिंग एल्गोरिद्म पेश किया है। यह 1967 के MacQueen अपडेट नियम पर आधारित पुराने mini-batch k-means तरीकों की जगह लेता है।
e-means की मुख्य बात यह है कि यह exponential moving averages के ज़रिए mini-batch अपडेट करता है। Lloyd के full-batch तरीके में जहाँ प्रति epoch सिर्फ 1 अपडेट होता है, वहीं e-means में 97 अपडेट होते हैं। नतीजतन, GPU पर Flash-KMeans की तुलना में 10–45 गुना और CPU पर Faiss की तुलना में 8–15 गुना wall-clock समय की बचत होती है।
एल्गोरिद्म की खास बात यह है कि इसमें कोई hyperparameter ट्यूनिंग नहीं चाहिए। batch size और step size scaling laws से अपने आप तय होते हैं। साथ ही इसमें cosine-scheduled decay rate, बेहतर initialization, dead-cluster revival strategy और एक finalization stage भी है जो training loss को और घटाती है।
कोड faiss/contrib/e_means में उपलब्ध है और paper arXiv पर (arxiv.org/abs/2611.09501) देखा जा सकता है। ब्राउज़र में live playground भी दिया गया है।