MCP(Model Context Protocol)の課題が指摘される

原題: MCP is dead?

なぜ重要か

AI開発における標準プロトコルとして期待されたMCPの実用性課題が明らかになり、効率的なLLMツール統合手法の再検討が必要

Quandri Engineering が MCP(Model Context Protocol)の実用性について分析した結果、コンテキスト窓の10.5%を消費し、従来のCLI/APIより65倍多くのトークンを使用するなど、運用上の課題があることが判明。LLMと外部ツール接続の効率性に疑問が提起された。

Quandriの開発チームが、2024年後半にリリースされた MCP(Model Context Protocol)について詳細な分析を実施した。MCPは「AIエコシステムのUSB-C」と呼ばれ、LLMを GitHub、Linear、Notion、Slack などの外部ツールに接続するプロトコルだが、実際の使用において重大な課題が発見された。

最も深刻な問題はコンテキスト窓の消費量で、Linear、Notion、Slack、Postgresの4つのMCPサーバーを接続した場合、ツール定義だけで約21,077トークン(Claude 200Kモデルの10.5%、GPT-4oの16.5%)を消費することが判明した。特にLinearサーバーは42のツール定義で12,807トークンを使用し、実際に使用するのは2つの機能のみでも全機能の定義が常時ロードされる。

運用面では、初期化の失敗、認証の繰り返し、MCPサーバープロセスのクラッシュ、応答速度の低下などの信頼性の問題が報告された。ベンチマークテストでは、MCP経由のAPI呼び出しは直接のREST API呼び出しより3倍遅く、初回呼び出しでは9.4倍遅いことが確認された。

さらに、既存のCLI/APIとの比較では、Linear issue検索において、MCPは約65倍多くのトークンを消費することが測定された。CLIアプローチは人間とLLMの両方が同じコマンドを使用でき、パイプやgrepなどで自由に組み合わせ可能だが、MCPはLLM会話内でのみ動作し、デバッグも困難であることが指摘された。

出典

quandri.io — 元記事を読む →