DeepSeek Rilis DeepInfer, Framework Inferensi Skala Besar
Judul asli: DeepInfer: High-performance, large-scale inference framework for DeepSeek models
Mengapa Ini Penting
DeepInfer membuka arsitektur inferensi produksi DeepSeek ke publik, mempercepat adopsi teknik MoE skala besar.
DeepSeek merilis DeepInfer secara open-source di GitHub, framework inferensi performa tinggi yang digunakan di layanan produksi mereka, kini mendukung model DeepSeek-V4.1-Flash.
DeepSeek membuka kode sumber DeepInfer, framework inferensi yang selama ini menggerakkan layanan produksi skala besar mereka. Repository ini telah meraih 10,9 ribu bintang dan 959 fork di GitHub hanya dalam waktu singkat sejak dirilis.
DeepInfer dirancang khusus untuk inferensi offline dengan fitur-fitur yang diperlukan untuk melayani permintaan dalam skala besar. Framework ini mendukung sejumlah teknik optimasi: Attention DP/balanced CP, MoE EP dengan EPLB, serta DSpark dan confidence-scheduled verification. Selain itu tersedia SWA bounded replay, penjadwalan asinkron tanpa overhead, dan deterministic sampling.
Fitur batch-invariant inference memungkinkan hasil yang konsisten terlepas dari ukuran batch, sementara dukungan structured outputs memudahkan integrasi ke pipeline produksi. Framework ini dilisensikan di bawah Apache-2.0 dan tersedia untuk hardware NVIDIA maupun Ascend.