OpenAI, Broadcom과 협력 첫 커스텀 칩 공개
원제: OpenAI unveils its first custom chip, built by Broadcom
왜 중요한가
AI 추론 비용 최적화는 생성형 AI 서비스의 경제성을 결정하는 핵심 요소이며, 수직 통합을 통한 경쟁 우위 확보의 중요한 신호다.
OpenAI가 6월 24일 Broadcom과 협력해 개발한 첫 커스텀 추론 프로세서 'Jalapeño'를 공개했다. 이 칩은 AI 모델 추론 작업에 특화되어 있으며, 기존 솔루션 대비 와트당 성능이 대폭 향상됐다고 회사는 밝혔다.
OpenAI는 6월 24일 Broadcom과의 협력으로 개발한 커스텀 추론 프로세서 'Jalapeño'를 공식 발표했다. 이 칩은 OpenAI의 추론 시스템 특성에 맞춰 설계됐으며, OpenAI의 자체 AI 모델들이 개발 과정에 참여했다.
칩은 현재 테스트 단계이지만 OpenAI는 기존 최첨단 솔루션 대비 우수한 와트당 성능을 보이고 있다고 발표했다. Broadcom과의 파트너십은 지난 10월 공식 발표됐으며, 이는 OpenAI가 Nvidia GPU에 대한 의존도를 줄이려는 장기 계획의 일환이다.
Google과 Amazon도 유사한 목적의 AI 가속 칩을 자체 개발했다. Greg Brockman OpenAI 회장은 회사 팟캐스트에서 "워크로드에 대한 깊은 이해와 미충족 분야를 파악해 성능을 가속할 수 있는 것을 만들고 있다"고 설명했다.
Jalapeño는 사용자 명령에 응답해 사전 구축된 AI 모델을 실행하는 추론 과정에 특화되어 있다. OpenAI는 특히 실시간 코딩 모델 운영 비용의 저감을 강조했다. 사전학습 같은 고성능 작업은 여전히 Nvidia 하드웨어에 의존할 가능성이 높지만, 추론 비용 감소는 회사의 수익성 개선에 상당한 영향을 미칠 수 있다.
OpenAI는 단순히 frontier 모델 개발과 제품화에 그치지 않고 칩 아키텍처, 메모리 시스템, 네트워킹, 배포 시스템 등 인프라 전층을 설계하고 있다. 이를 통해 각 계층을 동일한 목표(모델 속도, 안정성, 비용 효율성 향상)를 중심으로 최적화할 수 있다는 전략이다.