7MBのブラウザ内埋め込みモデル「Ternlight」
원제: Ternlight – 7 MB embedding model that runs in browser (WASM)
왜 중요한가
サーバーレス・APIレスのブラウザ内Embeddingにより、プライバシー保護とオフライン対応のセマンティック検索実装が容易になる。
Ternlightは、わずか7MB（miniバリアントは5MB）のEmbeddingモデルで、WebAssembly（WASM）を使用してブラウザ上で動作する。APIコールやサーバー不要で、CPUのみで約5msの高速Embedding処理を実現し、npmパッケージ「@ternlight/base」として提供されている。
Ternlightは、ブラウザ上でセマンティック検索を実現する超軽量Embeddingモデルだ。標準バリアントは7MB、miniバリアントは5MBと極めて小さく、WebAssembly（WASM）を介してユーザーのCPU上で直接実行される。GPUは不要で、外部APIへのネットワーク通信も一切発生しない。
処理速度は単一の`embed()`呼び出しで約5ms。初回ロード後はブラウザにキャッシュされるため、2回目以降はネットワーク通信ゼロで動作する。
技術的には、Linear weightsに三値化（BitLinear）を採用したTransformerアーキテクチャを使用している。npmパッケージとして3行のコードでセマンティック検索を実装可能で、モデルの個別ダウンロードやサーバーのセットアップは不要だ。
インストールは`npm install @ternlight/base`のみ。`embed()`と`similar()`の2つの主要APIを提供し、`similar('easy weeknight dinner ideas', recipes, { topK: 3 })`のような直感的な記述でランク付きの類似検索結果を返す。ライセンスはMITで、公式デモではReactの公式ドキュメントをブラウザ内で検索する実装例が公開されている。