
1 / 3
【Aperçu】 EvalCore est un outil de tests par instantanés (snapshot testing) dédié au comportement des applications LLM. Il enregistre la façon dont une application ou un agent répond, puis rejoue ces enregistrements dans la CI : hors ligne, de manière déterministe, à $0. Le projet est gratuit et open source sous licence Apache-2.0. Le problème visé est celui des régressions silencieuses : un prompt retouché, un modèle mis à jour ou une dépendance qui bouge peuvent dégrader les sorties sans qu'aucun test classique ne s'en aperçoive. EvalCore conserve les réponses observées dans des cassettes locales et les rejoue à chaque changement, sans réseau et sans clés API, pour que la comparaison porte sur le comportement réel de l'application. L'outil s'adresse aux équipes qui développent des applications et des agents LLM et veulent des évaluations bloquantes à chaque pull request, aux ingénieurs qui ont besoin de reruns reproductibles et gratuits, ainsi qu'aux développeurs qui comparent plusieurs modèles ou surveillent leur dérive dans le temps. 【Fonctionnalités principales】 • Enregistrement et rejeu de cassettes : chaque appel à une cible cachable est stocké dans une cassette SQLite locale, indexée par un hash de la requête canonique, puis rejoué en CI sans réseau ni clés API. • Scorers : chaque sortie est notée par des scorers de type contains, exact, regex, subprocess, trajectory, judge, json-schema ou similarity. • Gates et baselines : des seuils absolus au niveau de la suite, comme pass_rate >= 0.95 ou un score moyen minimal du judge, et la possibilité de confronter un run à une baseline enregistrée pour ne faire échouer que les régressions. • Comparaison matricielle de modèles : la suite est exécutée une fois par cible nommée, avec un tableau comparatif côte à côte indiquant le gagnant par cas et le coût par cible. • Cibles dans n'importe quel langage : tout ce qui parle HTTP ou shell est évaluable, y compris les endpoints compatibles openai, Anthropic Messages, Gemini, les API HTTP simples et les traces OTel/OpenInference. • Rapports HTML et JUnit : génération d'un rapport HTML autonome (un seul fichier, sans assets ni serveur) et export JUnit XML pour GitLab, Jenkins et autres systèmes de CI. 【Cas d'usage】 1. Bloquer une pull request en cas de régression d'évaluation avec --cache replay --baseline main. 2. Comparer plusieurs modèles en lançant une même suite sur plusieurs cibles avec --matrix, pour obtenir les gagnants par cas et le coût par cible. 3. Détecter la dérive d'un modèle grâce à un job nocturne planifié utilisant --cache live. 【Avantages et inconvénients】 Avantages: - Pour une équipe qui itère sur des prompts, l'apport principal est de transformer une dégradation invisible en échec de CI explicite, ce qui rend la revue de prompt aussi vérifiable qu'une revue de code. - Le rejeu hors ligne et à $0 rend les évaluations assez peu coûteuses pour être exécutées à chaque pull request plutôt qu'occasionnellement. - La comparaison matricielle aide à trancher entre plusieurs modèles sur des chiffres par cas et par cible, plutôt que sur une impression globale. - Le rapport HTML autonome se partage facilement dans une revue, sans infrastructure à maintenir. Inconvénients: - Les cibles shell ne sont jamais mises en cache : elles exécutent du code local dont le comportement peut changer sans modification de configuration. - Les réponses en streaming ne sont pas prises en charge. - La sortie JUnit ne contient pas le résultat des gates. - Un run en matrice est exclusif de la sélection de cibles et des baselines ; ces modes ne se combinent pas dans une même exécution. - Avec --baseline, un échec déjà accepté dans la baseline est toléré au niveau du cas, mais peut tout de même faire échouer un gate pass_rate. 【Questions fréquentes】 Q: EvalCore a-t-il besoin d'un accès réseau ou de clés API pour rejouer les tests en CI ? A: Non. Le rejeu s'appuie sur les cassettes enregistrées localement et s'exécute hors ligne, sans réseau ni clés API. Q: Quels types de cibles EvalCore peut-il évaluer ? A: Tout ce qui parle HTTP ou shell : endpoints compatibles openai, Anthropic Messages, Gemini, API HTTP simples, commandes shell et traces OTel/OpenInference. Q: Comment un cas de test est-il considéré comme réussi ? A: Un cas ne passe que si tous ses scorers passent. Des seuils absolus au niveau de la suite, comme pass_rate >= 0.95 ou un score moyen minimal du judge, peuvent en plus faire échouer l'exécution.
free
Les prix affichés sont des prix de référence pour les États-Unis ; les prix locaux peuvent varier.
WPS AI est un assistant d'intelligence artificielle intégré à WPS Office (en chinois). Il accompagne la rédaction de…
Baidu Comate est un assistant de codage basé sur le grand modèle ERNIE de Baidu. Il génère du code, des tests unitaires…
UniConverter est un outil de conversion et d'amélioration multimédia par IA qui traite vidéos, audios et images. Il…
Ajouté
22/10/2026
Vues
623
Cliques
3
6 outils similaires à considérer à la place de EvalCore