Kog、既存GPUからAI推論を最大化するソフトウェア開発
Judul asli: Kog is going deeper to squeeze more inference out of GPUs
Mengapa Ini Penting
既存GPU資産の活用によるAI推論コスト削減は、企業のAI導入加速に直結する重要課題。
フランスのスタートアップKogは、AMD MI300XやNvidia H200などの標準データセンターGPUで30倍高速なLLM推論を実現するソフトウェア「KIE」を開発中。シード資金調達も完了した。
フランスのスタートアップKogは、専用チップではなく既存の標準データセンターGPUを活用したソフトウェア最適化によるAI推論の高速化を目指している。同社は2026年5月にHacker Newsのフロントページに掲載されたテクニカルプレビューで、AMD MI300XおよびNvidia H200を使用し、シングルリクエストで毎秒3,000トークン（TPS）を達成するデモを公開。ただし、このデモはパラメータ数約20億のオープンソース小規模モデル「Laneformer 2B」を使用したものだった。
CEOのGaël Delalleau氏はTechCrunchに対し、デモ公開後に「200件の具体的なビジネスリード」を獲得したと述べた。最初のユースケースはソフトウェアエンジニアリング分野を想定しており、Claude Codeのような遅延を抱えるAIワークフローを業務利用するユーザーの課題解決を目指す。また、プロンプトからゲームやアプリを生成するサービスを提供するデザインパートナーとも連携している。
同社は現在、大規模モデルへの対応に向けた開発に注力しており、最終的に「30倍高速なLLM推論」の実現を目指す。シード資金調達はVarsity VCが共同リードし、創業者の旧共同創業者であるKamel Zeroual氏も参加した。競合にはCUDAを回避するハードウェア非依存ソフトウェアを提供するZMLがあるが、KogはStanford大学のHazy Research研究室に近いより深いレベルのGPU最適化を追求しているとDelalleau氏は説明している。