8달러 마이크로컨트롤러에서 2890만 파라미터 LLM 구동
원제: Running a 28.9M parameter LLM on an $8 microcontroller
왜 중요한가
초저가 엣지 디바이스에서 수천만 파라미터 LLM을 서버 없이 구동한 사례로, IoT·임베디드 분야의 온디바이스 AI 가능성을 넓힌다.
개발자 slvDev가 약 8달러짜리 마이크로컨트롤러 ESP32-S3에서 2890만 파라미터 규모의 언어 모델을 구동하는 데 성공했다. 모델은 서버 없이 칩 자체에서 동작하며, 초당 약 9토큰 속도로 소형 화면에 텍스트를 출력한다. 파라미터의 대부분은 RAM이 아닌 플래시 메모리에 저장된다.
개발자 slvDev가 GitHub에 공개한 프로젝트 'esp32-ai'는 512KB SRAM, 8MB PSRAM, 16MB 플래시를 탑재한 ESP32-S3 마이크로컨트롤러에서 2890만 파라미터 언어 모델을 실행하는 구현이다。
모델 전체 2890만 파라미터 가운데 2500만 파라미터는 플래시 메모리 룩업 테이블에 저장된다. 이를 가능하게 한 핵심 기술은 Google의 Gemma 모델에 도입된 'Per-Layer Embeddings(PLE)' 기법으로, 각 레이어별로 임베딩을 분리해 RAM 사용량을 대폭 줄이는 방식이다.
이 칩 계열에서 이전에 실행된 언어 모델의 최대 규모는 26만 파라미터였으며, 이번 구현은 그보다 약 100배 많은 파라미터를 동작시킨 것이다. 추론은 외부 서버와 통신 없이 칩 단독으로 수행되며, 출력은 칩에 연결된 소형 디스플레이에 실시간으로 표시된다. 처리 속도는 초당 약 9토큰으로 보고됐다.
해당 프로젝트의 소스 코드와 실험 결과, 펌웨어 등은 GitHub 저장소를 통해 공개되어 있으며, 공개 이후 GitHub Star 914개를 기록 중이다.