
1 / 3
【개요】 EvalCore는 AI 동작을 위한 스냅샷 테스트 도구다. LLM 애플리케이션이나 에이전트가 요청에 어떻게 응답하는지를 기록해 두고, 그 기록을 CI에서 오프라인으로 재생함으로써 프롬프트, 모델, 의존성 변경이 동작을 깨뜨렸는지 확인한다. 재생 과정에는 네트워크도 API 키도 필요 없으며 비용은 $0이다. LLM 앱은 프롬프트 한 줄, 모델 버전, 라이브러리 업데이트만으로 출력이 달라진다. 매번 실제 API를 호출해 비교하면 비용과 시간이 들고 결과 자체도 매번 흔들린다. EvalCore는 정규화된 요청의 해시를 키로 삼아 로컬 SQLite 카세트에 호출을 저장하고, 같은 요청에 같은 결과를 돌려주는 결정론적 평가를 만들어 이 문제를 해결한다. 풀 리퀘스트마다 평가를 게이트하려는 팀, 결정론적이고 비용 없는 재실행이 필요한 엔지니어, 여러 모델을 비교하거나 시간에 따른 모델 드리프트를 감지하려는 개발자에게 맞는 도구다. Apache-2.0 라이선스의 무료 오픈소스로 공개되어 있다. 【핵심 기능】 • 카세트 기록 및 재생: 캐시 가능한 모든 호출을 정규화된 요청 해시 기반의 로컬 SQLite 카세트에 기록하고, CI에서 네트워크와 API 키 없이 재생한다. • 스코어러: contains, exact, regex, subprocess, trajectory, judge, json-schema, similarity 등을 포함한 스코어러로 각 케이스의 출력을 채점한다. • 게이트와 베이스라인: pass_rate >= 0.95나 최소 judge 평균 점수 같은 스위트 단위 하한을 두고, 저장된 베이스라인과 비교해 회귀만 실패로 처리한다. • 매트릭스 모델 비교: 이름 붙인 타깃마다 스위트를 한 번씩 실행하고 케이스별 우승자와 타깃별 비용을 나란히 비교표로 출력한다. • 언어 무관 타깃: openai 호환 엔드포인트, Anthropic Messages, Gemini, 일반 HTTP API, OTel/OpenInference 트레이스를 포함해 HTTP나 셸로 통신하는 모든 대상을 평가한다. • 비용 및 예산 추적: 설정한 비용 단가를 기준으로 토큰 사용량과 케이스별 비용을 보고하고, 실행 예산 설정을 지원한다. 【적용 시나리오】 1. --cache replay --baseline main으로 풀 리퀘스트마다 평가 회귀를 게이트한다. 2. --matrix로 하나의 스위트를 여러 타깃에서 실행해 케이스별 우승자와 타깃별 비용을 비교한다. 3. --cache live를 사용하는 야간 예약 작업으로 모델 드리프트를 감지한다. 【장점과 단점】 장점: - 풀 리퀘스트마다 평가를 게이트하려는 팀에 잘 맞는다. 기록을 재생하는 구조라 CI에서 네트워크와 API 키 없이 돌아가고, 재실행 비용이 $0이라 평가를 자주 돌려도 부담이 늘지 않는다. - 프롬프트나 모델을 자주 바꾸는 엔지니어에게 유용하다. 베이스라인 대비 회귀만 실패로 처리하므로 관계없는 변동으로 CI가 흔들리지 않는다. - 모델 선택을 고민하는 개발자는 매트릭스 비교표 하나로 케이스별 우열과 타깃별 비용을 함께 판단할 수 있다. - Apache-2.0 오픈소스이므로 라이선스 비용 없이 도입할 수 있다. 단점: - 셸 타깃은 캐시되지 않는다. 로컬 코드의 동작은 설정이 그대로여도 달라질 수 있어, 기록을 남기면 사실과 다른 결과가 되기 때문이다. - 스트리밍 응답은 지원하지 않는다. - --matrix는 타깃 선택 및 베이스라인과 함께 사용할 수 없다. - JUnit 출력에는 게이트 결과가 포함되지 않는다. - 한 케이스는 모든 스코어러를 통과해야 통과로 처리된다. 【자주 묻는 질문】 Q: CI에서 네트워크나 API 키 없이 평가를 다시 실행할 수 있나? A: 가능하다. --cache replay로 기록된 카세트를 재생하면 오프라인에서 동일한 결과를 얻을 수 있다. Q: 어떤 종류의 대상을 평가할 수 있나? A: HTTP나 셸로 통신하는 대상이라면 언어와 무관하게 평가할 수 있다. openai 호환 엔드포인트, Anthropic Messages, Gemini, 일반 HTTP API, OTel/OpenInference 트레이스가 여기에 포함된다. Q: 여러 모델을 한 번에 비교할 수 있나? A: --matrix로 하나의 스위트를 이름 붙인 타깃마다 실행하면 케이스별 우승자와 타깃별 비용을 비교표로 확인할 수 있다. 다만 매트릭스는 타깃 선택이나 베이스라인과 함께 쓸 수 없다.
free
표시된 가격은 미국 지역 기준가이며, 지역에 따라 다를 수 있습니다.
WPS AI는 WPS Office에 통합된 AI 어시스턴트다. 문서 작성, PPT 구성, 긴 문서 요약, 스프레드시트 수식과 데이터 처리까지 오피스 작업 전반을 AI가 보조한다. 별도의 도구를 오가지 않고 문서…
Baidu Comate는 바이두의 ERNIE 대모델을 기반으로 개발된 AI 코딩 보조 도구다. 자동 코드 생성, 단위 테스트 생성, 주석 생성, 지능형 질의응답 등을 제공해 개발자가 코딩 작업을 더 빠르고 정확하게…
UniConverter는 동영상, 오디오, 이미지를 변환하고 압축, 편집, 개선할 수 있는 AI 미디어 도구다. 특히 AI 비디오 인핸서와 업스케일러를 통해 저화질 영상을 온라인과 데스크톱에서 복원하고 업스케일할…
등록일
2026. 10. 22.
조회수
620
클릭수
3
EvalCore 대신 고려해 볼 만한 도구 6건