Deep Learning Optimasi dari Prinsip Dasar
Judul asli: Making deep learning go brrrr from first principles (2022)
Mengapa Ini Penting
Memberikan framework sistematis untuk optimasi ML daripada pendekatan trial-error
Horace He menjelaskan pendekatan optimasi deep learning dengan tiga komponen: compute (operasi floating point), memory (transfer tensor), dan overhead (lainnya). Framework ini membantu mengidentifikasi bottleneck sistem.
Artikel ini menguraikan pendekatan sistematis untuk mengoptimalkan performa deep learning daripada mengandalkan trik acak. Penulis mengidentifikasi tiga komponen utama: Compute (waktu yang dihabiskan GPU untuk operasi floating point), Memory (waktu transfer tensor dalam GPU), dan Overhead (semua hal lainnya). Memahami regime mana yang sedang berlangsung memungkinkan fokus pada optimasi yang tepat. Misalnya, jika sistem terbatas bandwidth memori, meningkatkan FLOPS GPU tidak akan membantu. Sebaliknya, jika sistem compute-bound dengan operasi matmul besar, menulis ulang logik model ke C++ untuk mengurangi overhead tidak efektif. Artikel menekankan pentingnya memaksimalkan waktu dalam compute-bound regime karena compute dapat dikurangi overhead dan biaya memori, tetapi tidak dapat mengurangi komputasi yang diperlukan tanpa mengubah operasi aktual.