独産主権LLM「Kolibri」の仕組み
原題: Aleph Alpha Kolibri: How the sovereign German LLM works
なぜ重要か
EU AI Actへの準拠を設計段階から組み込んだ主権型LLMが公開水準で登場したことは、欧州の官公庁・製造業向け市場に新たな選択肢を示す。
ドイツのAleph Alphaは2026年10月3日、オープンウェイトLLM「Kolibri」をApache 2.0ライセンスで公開した。総パラメータ数780億のMixture of Experts構成で、1トークンあたり約35億パラメータのみ使用。ドイツとフィンランドのインフラで768台のNVIDIA B200 GPUを用いて学習し、約24兆トークンを処理。ドイツ語・英語の両方に対応し、同規模の比較モデルを自社評価で上回ると発表している。
「Kolibri」はAleph Alphaが構築したドイツ語・英語対応のLLMだ。モデル名はドイツ語でハチドリを意味し、軽量動作という特性を象徴している。
主な仕様は以下の通り。総パラメータ数781億、1トークンあたりの使用パラメータは346億（全体の4.4%）。コンテキスト長はネイティブで262,144トークン、最大100万トークン超まで検証済み。学習データの5分の1以上がドイツ語で、知識カットオフは2026年6月18日。推論レベルは「なし・低・中・高」の4段階、ツール呼び出しにも対応する。
同社が「主権型（sovereign）」と呼ぶ理由は2点ある。第1に、モデルはドイツとフィンランドのインフラ上でEU・ドイツ法のもと構築された点。第2に、顧客が自社サーバー上で運用でき、データが外部に出ず、モデルを第三者に変更・停止される心配がない点だ。AlephAlphaはEUの汎用AI（GPAI）行動規範にも署名している。
ただし「ヨーロッパ産」は訓練インフラの話であり、学習データの前処理にはGoogleの「Gemma 4」（英語テキストの言い換え）、Mistralの「Mistral-NeMo」（独語テキスト）、Alibabaの「Qwen3-32B」（品質フィルタ用ラベリング）が使われている。モデルカード自体もこの点を明記しており、中国のオープンモデルで確認した政治的バイアスを訓練データからフィルタリングしたと説明している。
内部構造はMixture of Experts（MoE）で、1レイヤーに384の専門家サブネットワークを持ち、各トークンは6つのみを経由する。これにより密なモデルと比べ推論コストを大幅に削減している。技術報告書は189ページにわたり、モデルアーキテクチャ、学習手順、評価結果の詳細が記載されている。重みはHugging Faceで公開されており、8ビット浮動小数点（FP8）で約78GBのメモリが必要だ。