IBM CEO "오픈 웨이트 모델, 온프레미스에 최적"
원제: IBM CEO says open weight models are now good and cheap on-prem
왜 중요한가
오픈 웨이트 모델의 성능·비용 역전은 클라우드 AI 서비스 의존도를 낮추고 온프레미스 AI 인프라 시장을 빠르게 재편할 신호탄이 될 수 있다.
IBM CEO Arvind Krishna는 2026년 10월 22일 Q3 실적 발표 콜에서, 오픈 웨이트 AI 모델이 프론티어 모델 대비 토큰 비용의 10~25%에 불과하면서도 성능은 90%에 달해 기업 온프레미스 환경에 매력적인 선택지가 됐다고 밝혔다.
Krishna CEO는 2024년에는 클로즈드 프론티어 모델과 오픈 모델 간 성능 격차가 현저했다고 설명했다. 당시 벤치마크 기준으로 프론티어 모델이 70점을 기록할 때 오픈 모델은 20~30점 수준에 그쳤다. 그러나 2025년 말부터 격차가 좁혀지기 시작해 현재는 70점 대비 약 63점 수준, 즉 90% 성능에 도달했다는 것이 그의 평가다.
비용 측면에서도 오픈 웨이트 모델은 프론티어 모델 토큰 비용의 10~25%에 불과하다. Krishna는 "이메일 요약, 계약서 검토, 고객 응대, 이메일 작성 등 대부분의 기업 업무는 저렴한 모델로도 충분히 처리 가능하다"고 강조했다. 그에 따르면 2~3개 랙만으로 유용한 AI 인프라 구축이 가능해 기업들의 온프레미스 수요가 급증하고 있다.
다만 Krishna는 배포 운영의 어려움도 솔직하게 인정했다. GPU 간 네트워크 근접성 확보, 모델 클러스터링, 결과 캐싱 최적화 등을 담당할 커널 엔지니어를 확보하는 것이 기업 입장에서 현실적인 난관이라고 지적했다. IBM은 이를 해소하기 위한 AI 배포 자동화 소프트웨어를 개발할 계획이라고 밝혔으나 구체적인 제품 로드맵은 공개하지 않았다.