Nvidia의 진짜 경쟁 우위는 CUDA 소프트웨어
원제: CUDA Proves Nvidia Is a Software Company
왜 중요한가
AI 훈련 비용이 급증하는 상황에서 GPU 최적화 소프트웨어가 경쟁력의 핵심임을 보여줌
Nvidia의 핵심 경쟁력은 하드웨어가 아닌 CUDA라는 소프트웨어 플랫폼이라고 WIRED가 분석했다. GPU 병렬처리를 가능케 하는 CUDA는 AI 훈련에서 연산 속도를 대폭 향상시키며, 한 번의 훈련에 1억 달러가 드는 상황에서 최적화가 매우 중요하다고 설명했다.
CUDA는 Compute Unified Device Architecture의 줄임말로, Nvidia CEO 젠슨 황이 가장 소중한 '보물'이라고 부르는 소프트웨어 플랫폼이다. 2000년대 초 스탠포드 박사과정 학생이었던 이안 벅이 게임용 GPU를 범용 고성능 컴퓨팅에 활용할 수 있다는 점을 발견하고 Brook이라는 프로그래밍 언어를 개발했으며, 이후 Nvidia에 입사해 존 니콜스와 함께 CUDA를 개발했다. CUDA의 핵심은 병렬처리다. 예를 들어 9×9 곱셈표를 작성할 때 단일 코어 컴퓨터는 81개 연산을 순차적으로 처리하지만, 9개 코어를 가진 GPU는 각 코어에 다른 열을 배정해 9배의 속도 향상을 달성할 수 있다. 현대 GPU는 더욱 정교해져 교환법칙을 인식해 중복 작업을 피하고 81개 연산을 45개로 줄일 수 있다. CUDA는 단순한 프로그래밍 언어가 아니라 AI용 소프트웨어 라이브러리들의 복합 플랫폼으로, 각 기능이 나노초 단위로 수학 연산을 최적화한다.