Ternlight: 7MBのブラウザ内埋め込みモデル
मूल शीर्षक: Ternlight – 7 MB embedding model that runs in browser (WASM)
यह क्यों महत्वपूर्ण है
サーバーレス・APIレスでプライバシーを保ちながらセマンティック検索をフロントエンドに組み込める点が、エッジAI開発の新たな選択肢となります。
Ternlightは、わずか7MBのサイズでブラウザ上(WASM)で動作するEmbeddingモデルです。APIサーバー不要で、CPU上で約5ミリ秒という高速処理を実現し、npmパッケージとして3行のコードで導入可能です。miniバリアントは5MBで提供されます。
Ternlightは、ブラウザ内で完結するセマンティック検索向けのEmbeddingモデルです。主な特徴として、フルサイズ版は7MB、miniバリアントは5MBという超軽量設計が挙げられます。
技術的には、BitLinear(三値重み)を採用したTransformerアーキテクチャを使用しており、WebAssembly(WASM)によりブラウザのCPU上で動作します。GPU不要で、1回のembed()呼び出しあたり約5ミリ秒の処理速度を実現しています。
導入方法は非常にシンプルで、`npm install @ternlight/base`でインストール後、`embed`と`similar`関数をインポートするだけで利用可能です。モデルの個別ダウンロードやサーバーのセットアップは一切不要で、初回ロード後はキャッシュされるためネットワーク通信もゼロになります。
デモページでは、Reactのドキュメントをブラウザだけでセマンティック検索できる実例が公開されており、「コンポーネント間で状態を共有する方法」などの質問に対してリアルタイムで回答を返す仕組みが確認できます。ライセンスはMITで公開されており、商用・個人利用ともに自由に使用できます。