LLM hybride : précision maximale, coût divisé par 4
Original : A Jev that can ask Opus for help gives Opus accuracy at 4x lower cost
Pourquoi c'est important
Le routage intelligent entre petits et grands modèles réduit massivement les coûts d'évaluation LLM.
Hightouch a testé les modèles Jev et GPT-6 Luna sur la résolution d'identité. Résultat : un hybride Jev + Claude Opus atteint la précision de Opus seul, pour plus de 4x moins cher.
La résolution d'identité — consolider des profils utilisateurs fragmentés en une seule entité — est notoirement difficile à évaluer automatiquement. Hightouch a voulu savoir si des modèles rapides et bon marché comme Jev ou GPT-6 Luna pouvaient remplacer des LLM frontier comme Claude Opus pour noter la qualité de ces résultats.
Les deux modèles s'en sortent correctement en autonomie : Jev affiche 88,8 % de précision, Luna 97,3 %. Luna part donc avec une avance nette. Mais sur les cas complexes, l'écart s'efface. Là où les deux divergent vraiment : la calibration de confiance. Jev sait mieux qu'il ne sait pas — la plupart de ses erreurs surviennent quand il exprime lui-même une faible certitude. Luna, elle, se trompe avec plus d'assurance.
C'est cette propriété qui rend Jev exploitable dans un système hybride : lorsque sa confiance passe sous un certain seuil, la requête est escaladée vers Claude Opus. Résultat, selon Hightouch : une précision proche du niveau Opus pur, pour un coût plus de quatre fois inférieur. Le seuil de confiance devient donc le levier clé du système.