
1 / 3
【Überblick】 EvalCore ist Snapshot-Testing für das Verhalten von KI-Anwendungen. Das Werkzeug zeichnet auf, wie eine LLM-App oder ein Agent auf Anfragen antwortet, und spielt diese Aufzeichnungen später in der CI wieder ab. Aus einem einmal erfassten Lauf wird so ein reproduzierbarer Prüflauf, der ohne Netzwerk und ohne API-Schlüssel auskommt. Das Problem, das EvalCore adressiert, ist die schleichende Regression: Ein Prompt wird umformuliert, ein Modell ausgetauscht oder eine Abhängigkeit aktualisiert, und das Verhalten der Anwendung verändert sich unbemerkt. EvalCore prüft jede dieser Änderungen gegen die aufgezeichneten Antworten und meldet Abweichungen deterministisch — zu Kosten von $0. Der Quellcode ist frei verfügbar unter Apache-2.0. Gedacht ist das Werkzeug für Teams, die LLM-Apps und Agenten betreiben und Evals bei jedem Pull Request als Gate einsetzen wollen, für Engineers, die reproduzierbare Offline-Läufe ohne laufende Kosten brauchen, und für Entwickler, die Modelle vergleichen oder Modell-Drift über die Zeit erkennen möchten. 【Kernfunktionen】 • Cassetten aufzeichnen und abspielen: Jeder Aufruf eines cachebaren Ziels landet in einer lokalen SQLite-Cassette, adressiert über einen Hash der kanonischen Anfrage, und wird in der CI ohne Netzwerk und ohne API-Schlüssel erneut abgespielt. • Scorer: Jede Fall-Ausgabe wird mit Scorern wie contains, exact, regex, subprocess, trajectory, judge, json-schema und similarity bewertet. • Gates und Baselines: Absolute Untergrenzen auf Suite-Ebene wie pass_rate >= 0.95 oder ein minimaler mittlerer Judge-Score lassen sich ebenso setzen wie ein Abgleich gegen eine gespeicherte Baseline, sodass nur Regressionen fehlschlagen. • Matrix-Modellvergleich: Die gesamte Suite läuft einmal pro benanntem Target und erzeugt eine Vergleichstabelle mit Gewinner pro Fall und Kosten pro Target. • Sprachunabhängige Targets: Bewertet wird alles, was HTTP oder Shell spricht, darunter OpenAI-kompatible Endpunkte, Anthropic Messages, Gemini, einfache HTTP-APIs und OTel/OpenInference-Traces. • HTML- und JUnit-Reports: Ein eigenständiger HTML-Report als einzelne Datei ohne Assets und ohne Server sowie JUnit-XML für GitLab, Jenkins und andere CI-Systeme. 【Anwendungsfälle】 1. Pull Requests auf Eval-Regressionen prüfen mit --cache replay --baseline main. 2. Modelle vergleichen: eine Suite über mehrere Targets mit --matrix laufen lassen und Gewinner pro Fall sowie Kosten pro Target erhalten. 3. Modell-Drift mit einem geplanten nächtlichen Job über --cache live erkennen. 【Vor- und Nachteile】 Vorteile: - Wer LLM-Apps oder Agenten bei jedem Pull Request absichern will, bekommt hier ein Gate, das offline und ohne API-Schlüssel läuft — Wiederholungsläufe sind dadurch deterministisch und kosten $0. - Weil beliebige HTTP- und Shell-Ziele bewertet werden, eignet sich das Werkzeug auch für Teams, die mehrere Modelle oder eigene Skripte gegeneinander stellen wollen, ohne pro Anbieter eine eigene Testlogik zu bauen. - Die freie Lizenz nach Apache-2.0 macht den Einstieg ohne Beschaffungsprozess möglich. Nachteile: - Shell-Targets werden nie gecacht; da sie lokalen Code ausführen, dessen Verhalten sich ohne Konfigurationsänderung verschieben kann, laufen sie nicht über die Cassette. - Streaming-Antworten werden nicht unterstützt. - JUnit-Ausgaben enthalten keine Gate-Ergebnisse, der Gate-Status ist daraus also nicht ablesbar. - Eine Matrix lässt sich nicht mit Target-Auswahl und Baselines kombinieren. 【Häufige Fragen】 Q: Läuft EvalCore in der CI ohne Netzwerkzugriff? A: Ja. Beim Replay werden die aufgezeichneten Cassetten aus einer lokalen SQLite-Datei gelesen, Netzwerk und API-Schlüssel sind dafür nicht erforderlich. Q: Welche Ziele lassen sich evaluieren? A: Alles, was HTTP oder Shell spricht, etwa OpenAI-kompatible Endpunkte, Anthropic Messages, Gemini, einfache HTTP-APIs sowie OTel/OpenInference-Traces. Q: Wann gilt ein Testfall als bestanden? A: Ein Fall besteht nur, wenn alle seine Scorer bestehen. Zusätzlich können Suite-Gates wie pass_rate >= 0.95 oder ein minimaler mittlerer Judge-Score den Lauf insgesamt bewerten.
free
Die angezeigten Preise sind Referenzpreise für die USA; lokale Preise können abweichen.
WPS AI ist ein KI-Assistent, der direkt in WPS Office integriert ist und mit einem großen Sprachmodell arbeitet. Er…
Baidu Comate ist ein KI-gestützter Programmierassistent, der auf dem ERNIE-Modell von Baidu basiert. Er unterstützt…
UniConverter ist ein KI-gestütztes Werkzeug zur Medienkonvertierung und -verbesserung. Es konvertiert, komprimiert,…
Hinzugefügt
22.10.2026
Aufrufe
619
Klicks
3
6 ähnliche Werkzeuge als Alternative zu EvalCore