
1 / 3
【Resumen】 EvalCore es una herramienta de pruebas de tipo snapshot para el comportamiento de la IA. Graba cómo responde una aplicación o un agente basado en LLM, guarda cada llamada a un objetivo cacheable en una cassette local de SQLite y después reproduce esas grabaciones en CI sin red y sin claves de API. Así, cada cambio de prompt, de modelo o de dependencia se comprueba contra un comportamiento ya registrado, de forma determinista y a un coste de $0. El problema que resuelve es la falta de repetibilidad. Las evaluaciones de LLM suelen depender de la red, del proveedor y de la variabilidad del propio modelo, de modo que resulta difícil saber si un cambio ha roto algo o si simplemente el modelo respondió distinto. Al reproducir cassettes, la comparación se hace siempre contra la misma referencia y las regresiones aparecen en la pull request en lugar de en producción. Está pensado para equipos que desarrollan aplicaciones y agentes LLM y quieren integrar las evaluaciones en CI en cada pull request, para ingenieros que necesitan repetir evaluaciones offline sin coste y para quienes comparan modelos o vigilan la deriva del modelo a lo largo del tiempo. Es gratuito y de código abierto (Apache-2.0). 【Funciones principales】 • Cassettes de grabación y reproducción: guarda cada llamada a un objetivo cacheable en una cassette local de SQLite indexada por un hash de la petición canónica y la reproduce en CI sin red y sin claves de API. • Scorers: califica la salida de cada caso con contains, exact, regex, subprocess, trajectory, judge, json-schema y similarity. • Puertas y baselines: aplica umbrales absolutos a nivel de suite, como pass_rate >= 0.95 o una puntuación media mínima del juez, y puede comparar la ejecución con una baseline guardada para que solo fallen las regresiones. • Comparación de modelos con matriz: ejecuta la suite completa una vez por cada objetivo y muestra una tabla comparativa con ganadores por caso y coste por objetivo. • Objetivos en cualquier lenguaje: evalúa cualquier cosa que hable HTTP o shell, incluidos endpoints compatibles con OpenAI, Anthropic Messages, Gemini, API HTTP simples y trazas OTel/OpenInference. • Informes HTML y JUnit: genera un informe HTML autocontenido (un solo archivo, sin recursos ni servidor) y puede emitir XML JUnit para GitLab, Jenkins y otros sistemas de CI. 【Casos de uso】 1. Bloquear pull requests ante regresiones de evaluación con --cache replay --baseline main. 2. Comparar modelos ejecutando una misma suite en varios objetivos con --matrix y obtener ganadores por caso y coste por objetivo. 3. Detectar deriva del modelo con un trabajo nocturno programado usando --cache live. 【Ventajas y desventajas】 Ventajas: - Para equipos que revisan pull requests a diario: al reproducir cassettes guardadas, la evaluación deja de depender de la red y de las claves de API, así que el resultado es estable y la comprobación no añade coste a cada revisión. - Para quien tiene que elegir entre varios modelos: la matriz devuelve ganadores por caso y coste por objetivo en una sola tabla, lo que permite decidir con datos concretos y no con impresiones. - Al ser gratuito y de código abierto (Apache-2.0), se puede incorporar al flujo de CI sin coste de licencia y sin atarse a un proveedor concreto. Desventajas: - Los objetivos de tipo shell nunca se cachean: ejecutan tu código local, cuyo comportamiento puede cambiar sin que cambie la configuración, y grabarlos registraría una imagen falsa. - Un caso solo se considera superado cuando pasan todos sus scorers. - Con --baseline, los fallos ya aceptados en la baseline se toleran caso por caso, pero aún pueden impedir que se cumpla una puerta de pass_rate. - Una matriz es mutuamente excluyente con la selección de objetivos y con las baselines. - Las respuestas en streaming no están soportadas. - La salida JUnit no incluye los resultados de las puertas. 【Preguntas frecuentes】 Q: ¿EvalCore necesita conexión a internet o claves de API para ejecutar las evaluaciones? A: No durante la reproducción: las cassettes guardadas se reproducen sin red y sin claves de API, por lo que la ejecución en CI es determinista. Q: ¿Qué tipos de objetivos puede evaluar? A: Cualquier cosa que hable HTTP o shell, como endpoints compatibles con OpenAI, Anthropic Messages, Gemini, API HTTP simples y trazas OTel/OpenInference. Q: ¿Cómo distingo una regresión real de un fallo que ya conocía? A: Guardando una baseline y ejecutando con --baseline: los fallos ya aceptados en la baseline se toleran caso por caso y solo hacen fallar la ejecución las regresiones nuevas.
free
Los precios mostrados son de referencia de la región de EE. UU.; el precio local puede variar.
WPS AI es un asistente de inteligencia artificial integrado en WPS Office, disponible en chino, que acompaña al usuario…
Baidu Comate es un asistente de programación impulsado por IA, desarrollado por Baidu sobre su modelo ERNIE. Ofrece…
UniConverter es una herramienta de conversión y mejora de medios con inteligencia artificial que trabaja con video,…
Añadida
22/10/2026
Vistas
621
Clics
3
6 herramientas similares a EvalCore que tener en cuenta