8ドルのマイコンで2890万パラメータLLMを動作
原題: Running a 28.9M parameter LLM on an $8 microcontroller
なぜ重要か
超低コストマイコン上での大規模LLM動作は、エッジAIの実用限界を大きく塗り替え、IoTデバイスへのオフライン推論普及を加速させる可能性を示す。
開発者のslvDev氏が、約8ドルのマイクロコントローラー「ESP32-S3」上で2890万パラメータの言語モデルを動作させることに成功した。モデルはサーバーへの通信なしにチップ単体で推論を実行し、小型ディスプレイへ毎秒約9トークンを出力する。同種チップでの従来記録は26万パラメータであり、本実装はその約100倍にあたる。
開発者のslvDev氏がGitHubで公開したプロジェクト「esp32-ai」は、ESP32-S3マイクロコントローラー上で2890万パラメータの言語モデルを完全オフラインで動作させる実装だ。ESP32-S3はSRAM 512KB・PSRAM 8MB・フラッシュメモリ16MBを搭載し、市場価格は約8ドルという低コストチップである。
技術的な鍵となるのは、GoogleのGemmaモデルで採用された「Per-Layer Embeddings（レイヤーごとの埋め込み）」という手法だ。2890万パラメータのうち2500万パラメータをフラッシュメモリ上のルックアップテーブルに格納することで、限られたRAM容量の制約を回避している。推論はチップ単体で完結し、外部サーバーへのデータ送信は一切行われない。
出力速度は毎秒約9トークンで、生成されたテキストはチップに接続した小型ディスプレイにリアルタイムで表示される。同種チップ上でのLLM動作の先行例は26万パラメータ規模にとどまっており、今回の実装はその約100倍のパラメータ数を実現している。
プロジェクトはソースコード・ファームウェア・実験データを含む形でGitHubに公開されており、リポジトリはスター数914を超えている。詳細なベンチマーク結果はREADME.mdおよびRESULTS.mdにまとめられている。