Peneliti Independen Bangun Server GPU $48K untuk Riset ML
Judul asli: Was my $48K GPU server worth it?
Mengapa Ini Penting
Menunjukkan pertimbangan praktis investasi GPU pribadi versus cloud computing untuk peneliti ML independen.
Mantan karyawan FAANG membangun server GPU 6x RTX 6000 Ada seharga $48K untuk riset mandiri, menganalisis efisiensi biaya dibanding sewa cloud computing dengan utilitas mencapai 85%.
Seorang peneliti independen yang keluar dari perusahaan FAANG pada 2024 membangun server GPU bernama 'grumbl' dengan 6 unit RTX 6000 Ada seharga $48K. Pemilihan RTX 6000 Ada didasari perbandingan rasio harga-performa terhadap A100 dan H100, dengan pertimbangan dukungan FP8 untuk inference RL. Kendala utama adalah keterbatasan daya listrik apartemen, memerlukan dua power supply di sirkuit terpisah dan bantuan profesional untuk keamanan. Analisis biaya menunjukkan dibutuhkan utilisasi 85% selama setahun agar setara dengan biaya sewa cloud computing on-demand. Peneliti menggunakan script logging untuk memantau penggunaan GPU per menit dan konsumsi listrik dalam watts untuk analisis komprehensif.