Transformer Bisa Diturunkan dari Memori Asosiatif
Judul asli: You could have invented transformers from memory
Mengapa Ini Penting
Pemahaman fondasi teoritis Transformer membuka jalan riset arsitektur baru berbasis memori.
Alex Wang menjelaskan bahwa arsitektur Transformer dapat diturunkan secara matematis dari konsep Hopfield Network dan memori asosiatif klasik.
Dalam esai teknisnya, Alex Wang berargumen bahwa mekanisme self-attention pada Transformer bukan temuan yang muncul dari ketiadaan—melainkan dapat diderivasi secara logis dari model memori asosiatif yang sudah ada sejak 1980-an, khususnya Hopfield Network. Ide dasarnya: simpan pasangan key-value sebagai memori, lalu ambil kembali nilai yang paling cocok dengan query menggunakan dot product similarity. Proses ini identik dengan operasi attention standar. Wang menunjukkan bahwa bila fungsi energi Hopfield Network dimodernisasi dengan kapasitas memori yang jauh lebih besar—seperti yang diusulkan Ramsauer et al. (2020) dalam makalah "Hopfield Networks is All You Need"—hasilnya secara aljabar kolaps menjadi persis mekanisme softmax attention. Tulisan ini bukan sekadar sejarah: ia memberikan intuisi mengapa attention bekerja, yaitu sebagai operasi pencarian memori konten-addressable yang terdiferensiasi penuh. Wang menyimpulkan bahwa siapa pun yang memahami memori asosiatif bisa, setidaknya secara prinsip, menemukan kembali Transformer dari nol.