Pi：最小構成が高性能・低コストの鍵
मूल शीर्षक: Pi's Minimalism Is Its Advantage
यह क्यों महत्वपूर्ण है
AIコーディングエージェントにおいて、ハーネス設計がモデル性能と同等かそれ以上にコスト・品質を左右することが、実企業の研究で示された点が重要。
Earendilが開発したAIコーディングツール「Pi」は、わずか4つのツールと1,000トークン以下のシステムプロンプトで構成される最小設計を採用。DatabricksとShopifyの実証研究により、他の複雑なツールより低コストかつ高性能であることが確認された。
Earendilが開発したAIコーディングハーネス「Pi」は、意図的なミニマリズム設計を採用しており、デフォルトでわずか4つのツールのみを搭載し、システムプロンプトとツール定義の合計トークン数は1,000以下に抑えられている。
Databricksは自社の数百万行規模のコードベースを使った独自ベンチマーク「Benchmarking Coding Agents on Databricks' Multi-Million Line Codebase」を実施。外部ベンチマークへの過度な最適化を避けるため、自社エンジニアが実際に行うタスクを基準とした。結果として、同じモデル・同じ思考レベルで異なるハーネスを使用した場合、「タスクあたりのコストが最大2倍以上異なる一方で品質は同等」であることが判明。PiはClaude Code and Codexと比較して、Opus 4.8（xhigh設定）との組み合わせで最高の合格率を達成し、コストは大幅に低かった。Databricksは「Piは1ターンあたり約3倍少ないコンテキストを送信し、より少ない実行回数でタスクを完了した」と報告している。
Shopifyでは、エンジニアのDavid Cortésが「Pi、Autoresearch用の拡張機能を作成して」と指示するだけで、Piが自身の拡張ドキュメントを読み込み、自律的に「pi-autoresearch」を構築。PiがPi自身を拡張できる「自己編集可能なエージェントインフラ」としての特性が実証された。
Earendilはモデルレベルでも同様の傾向を観察しており、複雑なワークフローでHaiku 4.5を使用した場合、コード実行が絡む場面ではSonnet 4.6より高コストになるケースがあったと報告している。