Cerebras, 1조 파라미터 AI 모델 배포 방식 공개
원제: Cerebras Deploys Trillion-Parameter AI Models
왜 중요한가
수조 파라미터 모델의 고속 추론 인프라 구조를 공개함으로써, 웨이퍼 스케일 칩이 GPU 클러스터와 다른 방식의 대안이 될 수 있음을 보여준다.
Cerebras가 2026년 10월 22일 공식 블로그를 통해 WSE-3T 웨이퍼 스케일 칩 여러 장을 활용해 수조 개 파라미터 규모의 AI 모델을 초당 1,000~2,000 토큰 이상의 속도로 배포하는 구체적 방법을 공개했다. 오픈소스 모델 Kimi K3(3조 파라미터)를 사례로 삼아 59장의 WSE-3T 웨이퍼에 걸쳐 분산 배포하는 구조를 설명했다.
Cerebras는 단일 WSE-3T 웨이퍼가 44GB의 온칩 SRAM을 탑재한다는 점을 전제로, 3조 파라미터 규모 모델을 어떻게 실제 서비스하는지 단계별로 공개했다.
**레이어 크기 계산**: Kimi K3의 3조 파라미터를 4비트 양자화로 저장하면 총 약 1.5TB 규모가 되며, 이를 93개 레이어로 나누면 레이어당 약 16GB가 된다.
**웨이퍼 수 산정**: 44GB 웨이퍼에서 KV 캐시가 필요한 dense 레이어(24개)는 웨이퍼 1장당 1개 레이어만 올린다. 반면 고정 크기 상태만 유지하는 linear-attention 레이어(69개)는 웨이퍼 1장당 2개씩 배치할 수 있다. 결과적으로 필요한 웨이퍼는 총 35 + 24 = **59장**이다.
**웨이퍼 간 연결**: 레이어별 가중치는 각 웨이퍼의 온칩 메모리에 고정되고, 웨이퍼 사이에는 Ethernet 기반 RDMA를 통해 **활성화(activation) 값만** 전달된다. 홉당 지연은 약 2마이크로초 수준이다.
**파이프라인 구조**: 각 웨이퍼는 조립 라인의 한 스테이지 역할을 한다. Wafer 1이 레이어 1~2를 처리하고 결과를 Wafer 2로 넘기는 방식으로 순차 진행된다. 모델 가중치는 이동하지 않고 활성화 값만 흐르기 때문에 메모리 병목이 크게 줄어든다. Cerebras는 이 구조가 다수의 동시 요청을 처리할 때도 효율적으로 작동한다고 설명했다.
Kimi K3는 Terminal-Bench 2.1에서 88.3%(GPT-5.6 Sol 88.8%)를, BrowseComp에서 91.2%(GPT-5.6 Sol 90.4%)를 기록해 일부 벤치마크에서 상용 최고 모델을 앞섰다.