
1 / 3
【Visão geral】 EvalCore é uma ferramenta de snapshot testing para o comportamento de IA. Ela grava como seu app LLM ou agente responde a cada caso e depois reproduz essas gravações no CI, para que toda mudança de prompt, modelo ou dependência seja verificada offline, de forma determinística e a $0. O projeto é gratuito e de código aberto, sob licença Apache-2.0. O problema que ela ataca é o intervalo entre um deploy e outro: prompts são editados, modelos são trocados e dependências são atualizadas, e o comportamento do app muda sem que nenhum teste quebre. O EvalCore transforma esse comportamento em algo verificável, com scorers, gates e baselines que apontam regressões em vez de apenas produzir números soltos. A ferramenta é voltada para times que mantêm aplicações e agentes LLM e querem evals rodando a cada pull request, para engenheiros que precisam de reruns determinísticos, offline e sem custo de API, e para quem compara modelos ou acompanha drift de modelo ao longo do tempo. 【Recursos principais】 • Cassettes de gravação e replay: registra cada chamada a um alvo cacheável em um cassette SQLite local, indexado pelo hash da requisição canônica, e o reproduz no CI sem rede e sem chaves de API. • Scorers: avalia a saída de cada caso com scorers como contains, exact, regex, subprocess, trajectory, judge, json-schema e similarity. • Gates e baselines: aplica pisos absolutos no nível da suíte, como pass_rate >= 0.95 ou uma média mínima do judge, e compara a execução com uma baseline salva para que só as regressões falhem. • Comparação de modelos em matriz: roda a suíte inteira uma vez por alvo nomeado e imprime uma tabela comparativa lado a lado, com vencedor por caso e custo por alvo. • Alvos em qualquer linguagem: avalia qualquer coisa que fale HTTP ou shell, incluindo endpoints compatíveis com OpenAI, Anthropic Messages, Gemini, APIs HTTP simples e traces OTel/OpenInference. • Relatórios HTML e JUnit: gera um relatório HTML autocontido, em um único arquivo, sem assets e sem servidor, e pode emitir JUnit XML para GitLab, Jenkins e outros sistemas de CI. 【Casos de uso】 1. Bloquear pull requests com regressões de eval usando --cache replay --baseline main, para que uma mudança de prompt ou de modelo não passe sem ser medida. 2. Comparar modelos rodando uma mesma suíte em vários alvos com --matrix e obter vencedores por caso e custo por alvo na mesma tabela. 3. Avaliar pipelines RAG, rubricas de LLM-as-judge e traces de agentes, além de detectar drift de modelo com um job noturno agendado usando --cache live. 【Vantagens e desvantagens】 Vantagens: - O replay offline tira a rede e as chaves de API do caminho, então a suíte pode rodar em cada pull request sem consumir tokens nem esbarrar em instabilidade de rede. - O gate contra baseline muda a conversa de "qual é a nota" para "o que piorou", o que reduz ruído para times que já têm uma suíte razoável e querem proteger o que funciona. - Sendo gratuita e Apache-2.0, é uma opção realista para quem precisa colocar evals no CI sem orçamento de API ou processo de licenciamento. Desvantagens: - Alvos do tipo shell nunca são cacheados: como executam código local que pode mudar sem alteração de configuração, o replay não os cobre. - Um caso só passa quando todos os scorers passam. - Com --baseline, falhas já aceitas na baseline são toleradas por caso, mas ainda podem derrubar um gate de pass_rate. - A matriz é mutuamente exclusiva com a seleção de alvo e com baselines. - Respostas em streaming não são suportadas. - A saída JUnit não inclui os resultados dos gates. 【Perguntas frequentes】 Q: O EvalCore precisa de rede ou de chaves de API para rodar no CI? A: Não. Com o replay dos cassettes, a suíte roda offline, sem rede e sem chaves de API, porque as gravações ficam em um cassette SQLite local. Q: Que tipos de alvo o EvalCore consegue avaliar? A: Qualquer coisa que fale HTTP ou shell, como endpoints compatíveis com OpenAI, Anthropic Messages, Gemini, APIs HTTP simples, comandos shell e traces OTel/OpenInference. Respostas em streaming não são suportadas. Q: Como o EvalCore decide se um caso passou? A: Cada caso é avaliado pelos scorers configurados e só passa quando todos eles passam; além disso, é possível aplicar pisos no nível da suíte, como pass_rate >= 0.95 ou uma média mínima do judge.
free
Os preços mostrados são preços de referência dos EUA; os preços locais podem variar.
O WPS AI é um assistente de inteligência artificial integrado ao WPS Office, com capacidade de grandes modelos de…
O Baidu Comate é um assistente de programação com inteligência artificial desenvolvido pela Baidu com base no modelo…
UniConverter é uma ferramenta de conversão e aprimoramento de mídia com IA que trabalha com vídeo, áudio e imagens. Ela…
Adicionada
22/10/2026
Visualizações
617
Cliques
3
6 ferramentas semelhantes a considerar em vez de EvalCore