Cara Kerja Large Language Model: Panduan Lengkap Arsitektur
Judul asli: How LLMs work
Mengapa Ini Penting
Pemahaman arsitektur LLM penting untuk membaca paper dan kartu model terbaru.
Artikel ini menjelaskan mekanisme kerja LLM modern yang berbasis transformer, mulai dari tokenisasi, embedding, attention mechanism, hingga prediksi token berikutnya tanpa rumus matematika kompleks.
LLM modern dibangun dengan menumpuk blok transformer berulang kali. Proses dimulai dari tokenisasi yang mengubah teks menjadi urutan integer berdasarkan vocabulary tetap berisi puluhan ribu hingga ratusan ribu entri. Token biasanya berupa potongan subword, bukan kata utuh, untuk efisiensi. Selanjutnya adalah embedding matrix yang memberikan makna pada setiap token ID melalui vektor panjang sesuai hidden size model. Positional encoding membantu model memahami urutan token. Attention mechanism memungkinkan token berbagi informasi satu sama lain, dikembangkan menjadi multi-head attention untuk melacak berbagai jenis hubungan sekaligus. Feed-forward network menyimpan sebagian besar struktur model. Residual stream dan layer normalization membuat pelatihan stack yang dalam menjadi mungkin. Akhirnya, model memprediksi token berikutnya dalam loop generasi.