Ollaya: Decision model open-source berjalan lokal
Judul asli: Ollaya – Ollama for open-source, Jev-style decision models
Mengapa Ini Penting
Model inferensi lokal untuk keputusan terstruktur membuka opsi privasi serius bagi enterprise yang menghindari cloud.
Ollaya adalah runtime open-source untuk menjalankan decision model secara lokal. Model Laya mampu menjawab lima pertanyaan dalam 8–10 ms di GPU RTX 4090, jauh lebih cepat dibanding layanan hosted.
Ollaya memposisikan dirinya sebagai alternatif lokal dari layanan hosted TypeSafe Jev untuk menjalankan decision model — model yang menjawab pertanyaan terstruktur seperti pilihan, skor, dan ya/tidak dalam satu forward pass tanpa token-by-token generation.
Dalam pengujian di RTX 4090, model Laya mencatat latensi 8–10 ms untuk permintaan lima pertanyaan melalui HTTP API. Sebagai perbandingan, TypeSafe Jev hosted API mencatat median 236–276 ms berdasarkan benchmark pihak ketiga. Perbedaan ini mencakup latensi jaringan, sehingga tidak apple-to-apple.
Ollaya kompatibel dengan TypeSafe SDK Python versi 0.7.1 tanpa modifikasi, cukup dengan mengubah environment variable `TYPESAFE_BASE_URL` ke `localhost:11435`. Model yang tersedia antara lain: Laya (Convai Innovations, 322m–421m parameter, mendukung 100+ bahasa), Decider (Mapika berbasis Qwen3.5, 0.75b–1.9b), NLI (Moritz Laurer, zero-shot classifier), GLiClass (Knowledgator, 439m), Qwen3Guard (keamanan konten, 119 bahasa, 0.6b), dan Kev (Jared Palmer, LoRA di atas Qwen3.5).
Semua model bersifat open weights dan dapat dijalankan di hardware pengguna sendiri — data tidak meninggalkan perangkat.