DeepSeek, 대규모 추론 프레임워크 DeepInfer 공개
원제: DeepInfer: High-performance, large-scale inference framework for DeepSeek models
왜 중요한가
DeepSeek 실서비스 인프라 공개로, 대규모 MoE 모델 서빙 효율화에 관심 있는 연구·산업계에 실질적 레퍼런스가 생겼다.
DeepSeek AI가 자사 프로덕션 서비스를 실제로 구동하는 대규모 추론 프레임워크 'DeepInfer'를 2025년 오픈소스로 공개했다. GitHub에서 Apache-2.0 라이선스로 배포되며, 출시 직후 Star 1만900개, Fork 959개를 기록했다. 현재 DeepSeek-V4.1-Flash 모델을 지원한다.
DeepSeek AI가 자사 대규모 서비스 인프라의 핵심인 추론 프레임워크 DeepInfer를 오픈소스로 공개했다. Apache-2.0 라이선스로 GitHub에 배포됐으며, 공개 직후 Star 1만900개를 돌파했다.
현재 공식 지원 모델은 DeepSeek-V4.1-Flash이며, 핵심 기능은 다음과 같다. 우선 병렬 처리 측면에서 Attention DP(데이터 병렬), 균형 잡힌 CP(컨텍스트 병렬), MoE EP(전문가 병렬)와 EPLB(Expert Parallelism Load Balancing)를 지원한다. 또한 DSpark와 신뢰도 기반 검증 스케줄링, SWA(Sliding Window Attention) 기반 재생 경계, 제로 오버헤드 비동기 배치 스케줄러가 포함된다.
특히 '배치 불변 추론(Batch-invariant inference)'과 '결정론적 샘플링(Deterministic sampling)'을 지원해 동일 입력에 대한 출력 일관성을 보장한다. 구조화된 출력(Structured outputs) 기능도 갖췄다.
NVIDIA GPU와 Ascend(화웨이 NPU) 환경을 모두 지원하며, 각각 별도의 requirements 파일을 제공한다. 현재 Pull Request가 81건 열려 있어 커뮤니티 기여가 활발하게 진행 중이다.
DeepSeek는 이번 공개에 대해 "실제 프로덕션 서비스를 구동하는 핵심 기능을 오프라인 추론 형태로 제공한다"고 밝혔다.