SemIf : décisions sémantiques dans votre navigateur
Original : OpenJev
Pourquoi c'est important
L'inférence 100 % locale dans le navigateur élimine toute dépendance à un backend pour des décisions sensibles.
SemIf (ex-OpenJev) est un projet indépendant qui exécute des modèles de langage localement dans le navigateur pour comparer deux méthodes de décision : lecture directe des logits versus génération JSON. Trois modèles disponibles : Qwen3 0.6B (639 MB), MiniCPM5 2B (1,56 GB) et Qwen3.5 4B (3,01 GB). Aucune donnée ne quitte l'appareil.
SemIf — anciennement OpenJev — est une expérimentation browser-only qui permet de comparer deux approches pour extraire une décision structurée d'un LLM local. La première méthode ("direct readout") lit les probabilités des tokens correspondant aux options fournies via un softmax restreint, sans décoder. La seconde ("generation") demande au modèle d'écrire sa distribution de probabilités sous forme JSON, token par token.
Trois modèles sont proposés via des poids GGUF quantisés chargés depuis Hugging Face : Qwen3 0.6B (639 MB, recommandé mobile), MiniCPM5 2B (1,56 GB, défaut desktop) et Qwen3.5 4B (3,01 GB, haute mémoire). Les benchmarks maison sur 102 lignes publiques montrent une précision équilibrée allant de 44 % (Qwen3 0.6B) à 81,3 % (Qwen3.5 4B), contre 88,3 % pour le service Jev hébergé.
Les deux méthodes s'exécutent séquentiellement sur le même GPU local via wllama, les timings étant mesurés avec performance.now(). Le projet précise explicitement qu'il n'est ni affilié ni endorsé par TypeSafe.