Ripple-65B:コーディングAI最高性能を32億円で実現

原題: Ripple-65B Preview: U.S. Open-Weight SOTA on Agentic Coding

なぜ重要か

モデル規模を抑えながら最高水準のコーディング性能を低コストで達成した点は、大規模資本なき企業にも競争機会があることを示す。

Ricursive Intelligenceは2025年、650億パラメータの大規模言語モデル「Ripple-65B Preview」を公開した。TerminalBench 2.1でスコア80.52を達成し、米国オープンウェイトモデルの最高性能を記録。開発コストは3,200万ドル(約48億円)で、従来の同水準モデルの10分の1に抑えた。モデルはHugging FaceやTogether AIなどで公開されている。

Ricursive Intelligenceは、AIチップ設計プラットフォームを動かす独自モデルの汎用版として「Ripple-65B Preview」をリリースした。12兆トークンで事前学習され、最大100万トークンのコンテキスト長に対応する。

エージェント型コーディングの評価指標「TerminalBench 2.1」でスコア80.52を達成し、Reflection Beam 501B(80.1)、Meta Muse Spark Open 816B(76.4)、Thinking Machines Inkling 975B(63.8)、NVIDIA Nemotron 3 Ultra 550B(56.4)といった、はるかに大規模なモデルを上回った。

開発費はR&Dコスト全体で3,200万ドル。事前学習のスケールアップ実験、データ配合、評価、デバッグ、合成データ生成、事後学習レシピ開発、最終的な本番学習まで含めた金額だという。Sam AltmanがGPT-4の学習コストを1億ドル超と述べ、Dario Amodeiが将来の前処理コストを100億〜1,000億ドル規模と予測している流れの中で、この数字は際立って小さい。

アーキテクチャ面では、他社が採用するMixture-of-Experts(MoE)ではなく、モダンなdense Transformerを選択。カスタムカーネルや量子化なしで、単純なシャーディングのみで学習効率(MFU)40%を維持した。

事後学習では独自の強化学習手法「Steep Ascent RL」を採用。切り捨て重要度サンプリング、スコアセンタリング、線形長さペナルティを組み合わせた。合成データは外部から購入せず自社パイプラインで生成。TerminalBench 2.1スコア80.5に到達するのに要したロールアウト数は約140万回で、先行するReflection Beamの約70分の1にとどまった。

モデルはNVIDIA DGX Sparkなどローカルデバイスでの推論も想定した薄く深いアーキテクチャを採用。現在はHugging Face、Together AI、GMI Cloud、OpenRouterで利用可能で、Fireworksも近日対応予定だ。

出典

ricursive.com — 元記事を読む →