ブラウザで7種のSLMを無料ベンチマーク
Judul asli: MicroLLM Lab – Try 7 tiny LLM's in the browser
Mengapa Ini Penting
エッジAIの実用性をブラウザ単体で検証できる環境が整い始めている。
MicroLLM Labは25M〜360MパラメータのSLM 7種をWebGPUでブラウザ上で実行・比較できる無料ツール。サーバー不要、データは端末外へ出ない。
MicroLLM Labは、WebGPUを使いブラウザ内で小規模言語モデル（SLM）を動かせる実験的ツールだ。対象モデルはパラメータ数25Mから360Mの7種類で、Q4量子化（4ビット量子化）によりメモリ使用量を75%削減。100M超のモデルでもブラウザのIndexedDBに50〜84MBで収まる設計になっている。
WebGPUはW3CのAPIで、Apple Silicon・DirectX 12・Vulkanなどのハードウェアを直接叩く。time-to-first-tokenは10ms以下を実現し、リアルタイムの補完や軽量エージェント向けの活用を想定する。GPT-4やClaudeのようなフロンティアモデルへのリクエストを事前にフィルタリングするトリアージ層としての用途も明示されている。
Benchmarksタブでは持続的な256トークン生成速度や正確性（正規表現・完全一致ベース）を客観測定でき、結果を画像証明書としてXやLinkedInに共有する機能も持つ。ユーザーデータは一切外部に送信されない。