개인연구자의 4만8천달러 GPU 서버 투자기
원제: Was my $48K GPU server worth it?
왜 중요한가
개인 연구자의 GPU 서버 직접 구축 사례로 클라우드 대비 경제성 분석 방법론을 제시했다.
2024년 빅테크 회사를 그만두고 독립 연구자가 된 개발자가 RTX 6000 Ada GPU 6개로 구성된 4만8천달러 서버를 직접 제작했다. 클라우드 GPU 대비 약 85% 이상 활용시 1년 만에 손익분기점을 맞출 수 있다고 분석했다.
개발자는 2024년 FAANG 회사를 그만두고 독립 AI 연구자가 되면서 'grumbl'이라는 이름의 고성능 GPU 서버를 제작했다. Tim Dettmers의 GPU 선택 가이드를 참고해 A100, H100, RTX 6000 Ada 중에서 가격 대비 성능을 고려해 RTX 6000 Ada를 선택했다. A100은 FP8를 지원하지 않고 추론 성능이 떨어져 제외했으며, H100 대비 6000 Ada가 가격 대비 처리량 비율이 우수했다고 설명했다. 아파트 전력 제약으로 인해 2개의 전원 공급 장치를 서로 다른 회로에 연결해야 했으며, 안전을 위해 전문 PC 제작업체에 의뢰했다. 클라우드 대비 경제성 분석을 위해 GPU 사용량과 전력 소비를 분 단위로 로깅하는 스크립트를 작성했다. 각 GPU별로 하루 중 최소 한 번이라도 사용한 시간을 계산해 클라우드 렌탈 비용과 비교했다. 온디맨드 가격 기준으로 85% 이상 활용률을 유지하면 약 1년 만에 클라우드 렌탈 대비 손익분기점에 도달할 수 있다고 분석했다.