分散AI基盤「Mesh LLM」irohで実現
原題: Mesh LLM: distributed AI computing on iroh
なぜ重要か
クラウドGPUに依存しない自律分散型AI推論基盤の実用化は、中小企業や研究機関のコスト構造とデータ主権に大きく影響する可能性がある。
irohの開発元は2026年7月11日、手持ちのGPUを束ねて大規模言語モデルを分散実行できるシステム「Mesh LLM」を発表した。複数マシンのGPUをプールし、OpenAI互換APIとして`localhost:9337/v1`に公開。40種以上のモデルに対応し、235BパラメータのMoEモデルも複数台に分割して実行できる。
Mesh LLMは、既存のGPUリソースを組み合わせて一つのOpenAI互換推論エンドポイントとして機能させる分散AIコンピューティングシステムだ。Rae McKelvey氏が2026年7月11日に公式ブログで詳細を公開した。
開発の背景には、クラウドAPIへの依存に伴うコスト増大・プライバシーリスク・モデル更新の制御不能といった問題意識がある。Mesh LLMでは、オフィスや手元に眠るGPUマシンをそのまま活用できる。
リクエストの処理方式は三種類ある。（1）ローカルGPUでの直接実行、（2）既にモデルをロード済みの別ノードへのルーティング、（3）単一マシンに収まらない大規模モデルを複数マシンにレイヤー単位で分割するパイプライン実行（内部コード名「Skippy」）。Skippyモードでは、例えばレイヤー0〜15を1台目、16〜31を2台目に割り当て、活性化テンソルを順次転送することで、各マシン単体では保持できないモデルを協調実行する。エンドユーザーのOpenAIクライアントはlocalhostと通信するだけで、分散処理の詳細は一切意識しない。
ネットワーク層にはP2Pライブラリ「iroh」を採用する。各ノードは起動時にirohエンドポイント（公開鍵ベースのID）を生成し、中央サーバーなしでNATトラバーサルおよびQUIC接続を確立する。接続が直接確立できない場合のフォールバック用に、異なるリージョンに2台のirohリレーを運用している。
プロトコルはQUICのALPN交渉で三系統に分かれる。メッシュ全体のゴシップ・ルーティング・HTTPトンネルを担う`mesh-llm/1`、設定同期・所有権証明を担う`mesh-llm-control/1`、分割推論のステージ間通信を担う`skippy-stage/2`だ。
カタログには0.5Bパラメータのラップトップ向けモデルから235BパラメータのMoEモデルまで40種以上が収録されており、プラグイン形式で追加も可能。MCP・HTTP・メッシュイベントなど複数インターフェースを通じて外部ツールとも連携できる。