ノルウェー国立図書館、Huawei製2PBストレージでLLM開発
原題: Norway's 2 petabytes of Huawei flash storage and LLM training
なぜ重要か
各国の言語・文化特化型AIの重要性を示す事例として、主権AIの必要性と大規模ストレージインフラの役割が注目される。
ノルウェー国立図書館が、ノルウェー語に特化した大規模言語モデル(LLM)を開発している。同図書館のIT責任者Marius Husnes氏が、Huaweiの2ペタバイトのOceanStor Doradoフラッシュストレージを使用したAIトレーニングデータパイプラインについて、Huawei ID Forum 2026で詳細を発表した。
ノルウェー国立図書館は、文化省からの委託を受けて、ノルウェー語を理解する独自のLLMを開発している。同図書館IT部門責任者のMarius Husnes氏によると、商業的なLLMプロバイダーがノルウェー語特化のLLMを開発しておらず、英語中心のグローバルなLLMでは、ノルウェーの歴史、ニュース、文化に関する現地語コンテンツを理解できないという課題があった。同図書館は国内最大のデジタルコレクションを保有し、書籍、新聞、ウェブページなど全出版物の法定納本を受ける権利を持つ。2005年から電子化を開始し、3-2-1形式で20PBの独自データを保管、総計60PBのデータを蓄積している。AIトレーニング用のデータパイプラインには、Nvidia DGX H200システム、384コアCPUクラスター、そしてHuaweiのOceanStor Dorado全フラッシュアレイ計2PBを使用している。データは前処理後、国立スーパーコンピュータSigma2 Oliviaシステム(HPE Cray、GPU448基、CPU64,512コア)で実際の訓練を実行する。