小型高性能モデル「Inkling 2 Mini」公開

原題: Inkling 2 Mini

なぜ重要か

内部ループによる「見えない推論」が進む中、小型モデルでの監視可能性研究は安全なAIエージェント実用化に直結する重要な論点となる。

Thinking Machines Labは2026年11月20日、ループ型Transformerアーキテクチャを採用した小型モデル「Inkling 2 Mini」を公開した。総パラメータ数26.4B(アクティブ3.4B)で、100B以下のオープンウェイトモデルとしてDeepSWE v1.1(48.2%)およびVals Index v2.2(46.5%)で最高スコアを記録。ラップトップ上での動作を想定した設計で、Hugging Faceでも公開されている。

Thinking Machines Labが公開した「Inkling 2 Mini」は、Mixture-of-Expertsアーキテクチャを採用した小型モデルだ。総パラメータ数26.4B、アクティブパラメータ3.4B、ループを考慮したトークンあたりの重み活性化は5.4Bとなっている。

最大の特徴は「ループ設計」と呼ばれるアーキテクチャで、モデルの中間層を1トークンごとに3回繰り返し処理する。これにより、推論結果をチェーン・オブ・ソート(CoT)として出力せずに内部で思考を深め、より少ないトークン数で正確な回答に到達できる。特にエージェント型コーディングなど推論品質が問われるタスクで効果を発揮するとしている。

ベンチマーク性能では、100B以下のオープンウェイトモデルとしてDeepSWE v1.1で48.2%、Vals Index v2.2で46.5%を達成し、Gemma 4 31B・Qwen3.8-27Bなど競合モデルを上回った。処理速度もBF16重みでの理論値614 GB/sを上限に、同等性能のモデルより速い。

モデルの重みの大部分はNVFP4形式でトレーニング・デプロイされており、低ビット量子化技術が性能と効率の両立に寄与している。

モニタリング(監視可能性)の研究も同時に実施されており、ループ数を変えて実験できる「可変ループ研究用モデル」も公開した。この研究モデルでは、CoTなしの時間ホライズンがループ1回の16秒からループ3回で37秒に改善。シリアル推論ベンチマークではトレーニング時の2倍に当たる10ループまで性能向上が続いた。CoTはループ増加に伴い短くなるが読み取り可能な状態を維持し、エージェント的な破壊行為を示す指標でループ増加による悪化傾向は見られなかったという。

同社はTinkerプラットフォーム上での試用とHugging Faceでの重み公開を同時に行い、研究者向けにループ型アーキテクチャを提供する初期の取り組みとして位置づけている。

出典

thinkingmachines.ai — 元記事を読む →