Kimi lance un outil open-source pour vérifier les API d'IA
Original : Kimi vendor verifier – verify accuracy of inference providers
Pourquoi c'est important
Résout un problème critique de confiance dans l'écosystème open-source d'IA
Kimi open-source le Kimi Vendor Verifier (KVV), un outil pour vérifier la précision des implémentations d'inférence de modèles open-source, après avoir découvert des écarts significatifs entre les API tierces et officielles.
Le projet KVV comprend six benchmarks critiques pour exposer les défaillances d'infrastructure : pré-vérification des paramètres API, OCRBench pour les pipelines multimodaux (5 minutes), MMMU Pro pour le préprocessing visuel, AIME2025 pour les tests de sortie longue, K2VV ToolCall pour la cohérence des déclencheurs et SWE-Bench pour les tests de codage agentique. L'équipe a identifié que les problèmes provenaient souvent de l'utilisation incorrecte des paramètres de décodage. La validation complète prend environ 15 heures sur deux serveurs NVIDIA H20 8-GPU. Kimi maintient un classement public des résultats des fournisseurs et collabore avec les communautés vLLM/SGLang/KTransformers pour corriger les causes profondes.