Ternlight: 7MBのブラウザ動作埋め込みモデル

Judul asli: Ternlight – 7 MB embedding model that runs in browser (WASM)

Mengapa Ini Penting

サーバーレスでのAI推論をnpm単一パッケージで実現し、エッジ・プライバシー重視開発に新たな選択肢を提供する。

Ternlightは7MBの埋め込みモデルで、WebAssembly(WASM)を使いブラウザ上でAPIなしに動作。npm単一パッケージで提供、テキスト埋め込みを約5msで処理する。

Ternlightは、ブラウザ上でCPUのみを使用して動作する軽量埋め込みモデルです。標準版は7MB、ミニ版(@ternlight/mini)は5MBで、WebAssembly(WASM)技術により外部APIサーバーへの通信なしにテキスト埋め込みを約5msで処理できます。

`npm install @ternlight/base`の1コマンドでインストール可能で、モデルの別途ダウンロードやサーバー構築は不要です。`embed()`と`similar()`の2つの関数で意味検索(セマンティック検索)が実装できます。

モデルアーキテクチャはTernary(BitLinear)重みを使用したTransformerベース。初回ロード後はキャッシュされるため、以降のネットワーク通信はゼロです。ライセンスはMITで公開されており、デモではReact公式ドキュメントのセマンティック検索をブラウザ内で実行できます。

Sumber

ternlight-demo.vercel.app — Baca artikel asli →