
1 / 3
【概述】 EvalCore 是一款面向 LLM 应用与 AI agent 的行为快照测试工具。它把应用或 agent 的响应录制下来,之后在 CI 中离线回放,从而在提示词、模型或依赖发生变化时确定性地检查是否出现回归,回放开销为 $0。项目免费开源,采用 Apache-2.0 许可。 LLM 应用的评测通常要么依赖实时调用(慢、贵、结果不稳定),要么缺少可重复的判定标准。EvalCore 把“录制一次、反复回放”的快照思路引入 AI 行为验证:录制结果保存在本地 SQLite cassette 中,按规范化请求的哈希索引;回放阶段不需要网络,也不需要 API Key,因此每次提交都能跑同一套用例。 它适合在每次 pull request 上对 LLM 应用做评测门禁的团队,也适合需要确定性、离线、零成本重复评测的工程师,以及需要横向比较模型、长期追踪模型漂移的开发者。 【核心功能】 • 录制与回放 cassette: 将可缓存目标的每次调用按规范化请求的哈希写入本地 SQLite cassette,并在 CI 中无网络、无 API Key 地回放。 • Scorers 评分器: 支持 contains、exact、regex、subprocess、trajectory、judge、json-schema 与 similarity 等评分方式。 • 门禁与基线: 可设置 pass_rate >= 0.95 这类套件级绝对下限或 judge 平均分下限,也可对照已保存的基线运行,只让回归导致失败。 • 矩阵模型对比: 对每个命名目标各跑一遍完整套件,输出并排对比表,包含逐用例胜出者与各目标成本。 • 任意语言目标: 只要目标能通过 HTTP 或 shell 交互即可评测,包括 openai-compatible 端点、Anthropic Messages、Gemini、普通 HTTP API 与 OTel/OpenInference trace。 • HTML 与 JUnit 报告: 生成单文件、无外部资源、无需服务器的 HTML 报告,并可输出 JUnit XML 供 GitLab、Jenkins 等 CI 系统使用。 【适用场景】 1. 在 pull request 上使用 --cache replay --baseline main 对评测回归做门禁。 2. 用 --matrix 让同一套件跑在多个目标上,对比模型并查看逐用例胜出者与各目标成本。 3. 通过 --cache live 的定时夜间任务检测模型漂移。 【优缺点】 优点: - 对需要在每次提交上跑评测的团队来说,离线回放意味着门禁既快又不产生调用费用,评审时不必再靠人工判断“这次改动有没有让模型变差”。 - 用例、评分与门禁都写在配置里,配合基线对照,团队可以把“只拦回归”直接作为合并标准,而不必自己维护一套评测脚本。 - 同一套件可跨目标、跨模型复用,做模型选型或长期追踪漂移时不需要重写用例,比较结果也更可比。 缺点: - shell 目标不会被缓存,因为 shell 目标运行的是本地代码,其行为可能在配置未变的情况下发生变化。 - 一个用例只有在所有 scorer 都通过时才算通过。 - 使用 --baseline 时,已进入基线的失败会按用例被容忍,但仍可能让 pass_rate 门禁不通过。 - 矩阵模式与目标选择、基线互斥。 - 不支持流式响应。 - JUnit 输出不包含门禁结果。 【常见问题】 Q: 回放阶段是否需要网络或 API Key? A: 不需要。录制阶段会把调用写入本地 SQLite cassette,回放阶段完全离线运行,无需网络与 API Key。 Q: EvalCore 能评测哪些类型的目标? A: 任何通过 HTTP 或 shell 交互的目标都可以,例如 openai-compatible 端点、Anthropic Messages、Gemini、普通 HTTP API 以及 OTel/OpenInference trace。 Q: 如何让 CI 只在出现回归时失败? A: 先保存一份基线,再用 --baseline 对照运行,这样已进入基线的失败会按用例被容忍,只有新的回归才会导致失败。
free
以下为美区参考价,其他地区的价格可能不同,请以官网实际价格为准。
WPS AI 是集成在 WPS Office 中的 AI 助手,面向日常办公与学习写作场景。它把文档写作、PPT 生成、长文阅读和表格处理这些常见任务,直接放进用户已经在用的办公软件里,减少在多个工具之间来回切换的麻烦。 在文档侧,WPS…
Baidu Comate 是百度基于文心大模型研发的 AI 编程辅助工具,面向软件开发全流程提供智能化支持。它能够自动生成代码、单元测试和注释,并通过智能问答帮助开发者快速理解项目架构与模块关系,从而提升编码效率。…
UniConverter 是一款 AI 媒体转换与增强工具,可对视频、音频和图片进行转换、压缩、编辑与画质提升。对于因压缩过度、噪点过多或分辨率偏低而显得模糊的素材,它提供 AI 视频增强与视频放大能力,帮助还原画面细节。…
添加时间
2026/10/22
浏览
624
点击
3
共 6 个可替代 EvalCore 的相似工具