e-means: Algoritma Clustering 10x Lebih Cepat dari k-means
Judul asli: E-means: Outperforming k-means in one-tenth the epochs
Mengapa Ini Penting
Clustering adalah fondasi banyak sistem ML; percepatan 10x berdampak luas pada pipeline produksi.
Meta FAIR rilis e-means, algoritma clustering pengganti Lloyd's k-means yang 10x lebih cepat dalam epoch dan wall-clock time, dengan loss lebih rendah.
Tim peneliti Meta FAIR — Swann Bessa, Pierre-Emmanuel Mazaré, Gergely Szilvasy, Hugo Touvron, David Picard, Matthijs Douze, dan Hervé Jégou — merilis e-means sebagai pengganti modern algoritma Lloyd untuk masalah k-means.
Secara teknis, e-means menggunakan mini-batch updates dengan exponential moving averages, berbeda dari pendekatan MacQueen yang sudah berumur sejak 1967. Hasilnya signifikan: di berbagai skala dataset, e-means mencapai test loss di bawah Lloyd pada 25 epoch hanya dalam 1,2 hingga 3 epoch.
Diukur end-to-end, kecepatannya 10–45x lebih cepat di GPU dibanding implementasi Lloyd terbaik saat ini (Flash-KMeans), dan 8–15x lebih cepat di CPU dibanding Faiss. Yang menarik, e-means tidak butuh hyperparameter tuning — ukuran batch dan step size ditetapkan otomatis via scaling laws.
Algoritma ini juga menyertakan inisialisasi yang lebih baik, strategi dead-cluster revival, cosine-scheduled decay rate, dan tahap finalisasi untuk menekan training loss tanpa biaya runtime berarti. Kode tersedia di faiss/contrib/e_means dan makalahnya ada di arXiv (2611.09501).