
1 / 3
【概要】 EvalCoreは、AIの振る舞いに対するスナップショットテストを実現するツールです。LLMアプリやエージェントの応答を記録し、CI上でオフライン再生することで、プロンプト・モデル・依存関係の変更によって生じる回帰を決定的に検出します。無料かつオープンソース(Apache-2.0)で提供されています。 LLMアプリのテストは、ネットワーク呼び出しやモデルの非決定性の影響で結果が毎回変わってしまいがちです。EvalCoreはキャッシュ可能なターゲットへの呼び出しを、正規化したリクエストのハッシュをキーとしてローカルのSQLiteカセットに記録します。CIではそのカセットを再生するため、ネットワークもAPIキーも不要で、同じ入力には同じ結果が返り、コストはかかりません。 評価対象はHTTPまたはシェルで扱えるものなら何でも構いません。OpenAI互換エンドポイント、Anthropic Messages、Gemini、プレーンなHTTP API、OTel/OpenInferenceのトレースなどを扱えます。プルリクエストごとに評価をゲートしたいチームや、モデル比較・モデルドリフトの検出を継続的に行いたい開発者に向いています。 【主な機能】 • カセットの記録と再生: キャッシュ可能なターゲットへの呼び出しを、正規化リクエストのハッシュをキーにローカルSQLiteへ記録し、CIではネットワークもAPIキーもなしで再生します。 • スコアラー: contains、exact、regex、subprocess、trajectory、judge、json-schema、similarity などのスコアラーで各ケースの出力を採点します。 • ゲートとベースライン: pass_rate >= 0.95 やjudge平均スコアの下限といったスイート単位の絶対しきい値を設定でき、保存済みベースラインと比較して回帰のみを失敗として扱えます。 • マトリクスによるモデル比較: 名前付きターゲットごとにスイートを1回ずつ実行し、ケース別の勝者とターゲット別コストを並べた比較表を出力します。 • 任意言語のターゲット: OpenAI互換エンドポイント、Anthropic Messages、Gemini、プレーンなHTTP API、OTel/OpenInferenceトレースなど、HTTPまたはシェルで扱えるものを評価できます。 • HTML/JUnitレポート: アセットもサーバーも不要な単一ファイルのHTMLレポートを出力し、GitLabやJenkinsなどのCIシステム向けにJUnit XMLも生成できます。 【利用シーン】 1. --cache replay --baseline main を使い、プルリクエストの評価回帰をゲートする 2. --matrix で1つのスイートを複数のターゲットで実行し、ケース別の勝者とターゲット別コストを比較する 3. --cache live を使った夜間の定期ジョブでモデルドリフトを検出する 【長所と短所】 長所: - プルリクエストごとに評価を回したいチームに向いています。記録済みカセットの再生はネットワークもAPIキーも使わないため、結果が毎回同じになり、再実行のコストを気にせずCIに組み込めます。 - プロンプトやモデルの変更がどのケースを壊したのかをケース単位で示せるため、モデル比較やドリフト検出を継続したい開発者の判断材料になります。 短所: - シェルをターゲットにした場合はキャッシュされず、実行のたびにローカルコードが動きます。 - ストリーミング応答には対応していません。 - --matrix はターゲット指定やベースラインとの併用ができません。 - JUnit出力にはゲートの結果が含まれません。 【よくある質問】 Q: ネットワークに接続できないCI環境でも使えますか? A: はい。カセットを再生するモードでは、ネットワークにもAPIキーにも依存せず評価を実行できます。 Q: ケースが合格と判定されるのはどのような場合ですか? A: 設定したすべてのスコアラーが合格した場合に限り、そのケースは合格となります。 Q: 同じスイートを複数のモデルで比較できますか? A: はい。--matrix を使うと、名前付きターゲットごとにスイートを実行し、ケース別の勝者とターゲット別コストを並べた比較表を出力します。ただしターゲット指定やベースラインとの併用はできません。
free
表示価格は米国地域の参考価格です。地域によって価格は異なります。
WPS AIは、WPS Officeに統合されたAIアシスタントです。文書の執筆やPPTのアウトライン生成、長文の要約と質問応答、表計算の数式作成やデータ分析までをサポートします。中国語環境で利用でき、日々のオフィスワークにおける作成・整理…
Baidu Comateは、百度の文心大模型(ERNIE)を基盤としたAIコーディングアシスタントです。自動コード生成、単体テスト生成、コメント生成、インテリジェントQ&Aといった機能を提供し、開発者がコーディング作業を効率化できるよう支援…
UniConverterは、動画・音声・画像の変換、圧縮、編集、画質向上をまとめて行えるAIメディアツールです。低画質な映像を復元するAI Video…
掲載日
2026/10/22
閲覧数
622
クリック数
3
EvalCoreの代わりに検討したいツール6件