로컬 LLM 속도 사전 체험 도구 출시
원제: Show HN: Llmspeed – feel how fast a local LLM runs before you buy the hardware
왜 중요한가
로컬 LLM 하드웨어 시장이 급성장하는 가운데, 수백만 원 단위 구매 결정을 데이터 기반으로 지원하는 참조 도구가 실용적 가치를 갖는다.
개발자 nicorobinreal이 하드웨어 구매 전 로컬 LLM 실행 속도를 시뮬레이션할 수 있는 오픈소스 웹 도구 'llmspeed.dev'를 공개했다. RTX 5090부터 MacBook M4 Pro, CPU 전용 구성까지 30종 이상의 하드웨어와 Llama, Qwen, Gemma 등 주요 모델 조합의 추론 속도를 비교할 수 있다.
llmspeed.dev는 고가의 AI 가속 하드웨어를 직접 구매하거나 임대하지 않고도 로컬 LLM의 체감 속도를 미리 파악할 수 있도록 설계된 시뮬레이터다. 지원 하드웨어는 NVIDIA RTX 3060 12GB부터 RTX 5090 32GB, AMD Radeon AI PRO R9700 32GB, Apple Mac Studio M5 Ultra 512GB, NVIDIA DGX Spark 128GB, 클라우드 기준 H100 80GB 및 H200 141GB까지 총 30여 종에 달한다. 모델 측면에서는 Llama 3.1 8B, Qwen 시리즈, Gemma 4, DeepSeek V4 계열, GPT-OSS 120B 등 현재 로컬 실행 커뮤니티에서 주목받는 모델들을 망라한다. 표시되는 수치는 짧은 프롬프트 기준 단일 기기의 추론 속도 추정값이며, 실측 데이터는 r/LocalLLaMA, localscore.ai 등 커뮤니티 벤치마크에서 수집했다. 실측값이 없는 조합은 유사 사양에서 외삽(extrapolation)해 도출된다. 전체 코드와 데이터는 GitHub(github.com/nicorobinreal/llmspeed)에 공개되어 있으며, 동작에는 JavaScript가 필요하다. Hacker News에 'Show HN'으로 게시되며 커뮤니티의 주목을 받고 있다.