Kolibri : le modèle souverain open-weight d'Aleph Alpha
Original : Kolibri: A Sovereign Open-Weight Model
Pourquoi c'est important
Un LLM open-weight souverain ciblant les marchés publics européens change la donne réglementaire.
Aleph Alpha lance Kolibri, un modèle Mixture-of-Experts de 78B paramètres (3B actifs) avec une fenêtre contextuelle d'1M tokens, sous licence Apache 2.0, spécialisé allemand-anglais pour les secteurs réglementés.
Le 3 octobre, jour de la réunification allemande, Aleph Alpha a publié Kolibri sur Hugging Face. Ce modèle Mixture-of-Experts combine 78 milliards de paramètres au total, dont seulement 3 milliards actifs à l'inférence, et supporte des contextes allant jusqu'à 1 million de tokens. Il est distribué sous licence Apache 2.0, avec les poids complets accessibles librement.
Kolibri succède à Kolibri Origin, un modèle intermédiaire de 30B paramètres (3B actifs) à fenêtre contextuelle de 65k tokens, qui a servi à valider le pipeline d'entraînement. Ce pipeline automatisé gère l'ingestion et la curation de données, les expériences d'ablation, le pré-entraînement et le post-entraînement, jusqu'aux évaluations finales — sans intervention humaine lors de pannes matérielles ou de coupures réseau.
Le modèle est conçu pour des déploiements souverains dans des secteurs réglementés : administration publique, industrie, aérospatiale. Aleph Alpha met en avant deux piliers : la spécialisation (allemand, raisonnement, mathématiques, comportement agentique) et la souveraineté (intégrité de la chaîne d'approvisionnement, transparence totale, déploiement on-premise sans transfert de données vers des services tiers). La société affirme offrir une "sécurité de la propriété intellectuelle" et une conformité réglementaire héritée du modèle.