iroh基盤の分散AI推論「Mesh LLM」公開
원제: Mesh LLM: distributed AI computing on iroh
왜 중요한가
クラウドAPIへの依存を排除し、手元のGPUで大規模モデルをプライベート運用できる分散推論インフラの実装例として、コスト・プライバシー・制御性の面で注目される。
iroh開発チームは2026年7月11日、既存のGPUを束ねて1つのOpenAI互換APIとして提供する分散AI推論システム「Mesh LLM」を発表した。中央サーバー不要で複数マシンのGPUを統合し、235Bパラメータ級の大規模モデルも複数台に分割して実行できる。
Mesh LLMは、オフィスや手元に散在するGPUマシンを束ね、単一のOpenAI互換エンドポイント（http://localhost:9337/v1）として公開する分散AI推論基盤である。リクエストの処理方式は3通り：①ローカルGPUで実行、②モデルをロード済みの別ノードへルーティング、③単体では搭載不可能な大型モデルを複数マシンにパイプライン分割して実行（内部コード名「Skippy」）。
Skippyモードでは、モデルをレイヤー範囲ごとにステージ分割し（例：レイヤー0〜15をノードA、16〜31をノードB）、活性化データをステージ間で転送することで、個々には動かせない大規模モデルを協調実行する。カタログには5億パラメータのノートPC向けモデルから235Bの混合エキスパートモデルまで40種以上を収録する。
ネットワーク層にはP2Pライブラリ「iroh」を採用。各ノードは公開鍵をIDとするirohエンドポイントを起動し、NATトラバーサル・ホールパンチング・リレーフォールバックをQUICプロトコル上で処理する。中央サーバーは存在せず、異なるネットワーク環境のノード間でも直接認証済みQUIC接続を確立できる。プロトコルはALPN交渉で3種に分類され、メッシュ通信・オーナーコントロールプレーン・Skippyステージ転送をそれぞれ担う。冗長性確保のため、異なるリージョンに2台のirohリレーを運用する。