Kontinuierliche Bewertung von KI-Agenten: eine praktische Methode

Zuverlässige KI-Agenten werden an den Ergebnissen gemessen, die sie erzielen, nicht an der Flüssigkeit ihrer Antworten. Diese Unterscheidung wirkt einfach, verändert jedoch die Art, wie Automatisierungen konzipiert werden. Ein Agent kann eine überzeugende Antwort formulieren, Tools ohne technische Fehler aufrufen und dennoch die falsche Bestellung stornieren, einen Lead unpräzise klassifizieren oder ein Ticket im falschen System eröffnen.

Der Druck, Agenten in Produktion zu bringen, hat dieses Problem sichtbarer gemacht. Im Bericht State of Agent Engineering 2026 von LangChain gaben 57 % der Befragten an, bereits Agenten in Produktion zu betreiben. Obwohl 89 % über ein gewisses Maß an Observability berichten, führen jedoch nur 52,4 % Offline-Evaluierungen mit Testsets durch. Die Lücke ist kritisch: Ereignisse zu protokollieren ist nicht dasselbe wie Qualität nachzuweisen.

Kontinuierliche Bewertung ist das System, das Geschäftsabsicht, Agentenverhalten und operative Ergebnisse verbindet. Sie sollte vor, während und nach jeder relevanten Änderung greifen: Modell, Prompt, Tool, Richtlinie, Integration, Wissensbasis oder Routing-Regel.

Was bei einem KI-Agenten bewertet werden sollte

Die konkrete Antwort lautet: Bewerten Sie die Aufgabe, die Trajektorie und die Wirkung im Prozess. Eine isolierte finale Antwort reicht selten aus.

Ein Agent agiert in einer Abfolge. Er interpretiert eine Anfrage, wählt Kontext aus, entscheidet über den Einsatz eines Tools, führt Aktionen aus, verarbeitet unvollständige Rückgaben und schließt den Fall ab oder übergibt ihn. Jede Phase kann Fehler einführen. Deshalb ist die Analyseeinheit nicht nur der generierte Text. Es ist die vollständige Ausführung.

Drei Ebenen sind hilfreich:

• Ergebnisqualität: Wurde das Ziel erreicht? Bei einem Support-Agenten wurde die Anfrage korrekt gelöst. Bei einem Vertriebsagenten wurde der Lead anhand der richtigen Kriterien qualifiziert.
• Trajektorienqualität: Hat der Agent die richtigen Quellen, Tools und Berechtigungen genutzt? Eine Trajektorie ist die geordnete Aufzeichnung von Entscheidungen, Tool-Aufrufen, Nachrichten und Zwischenzuständen.
• Operative Qualität: Hat der Agent Grenzen für Kosten, Latenz, Sicherheit und Anzahl der Versuche eingehalten?

Die im Juni 2026 veröffentlichte Studie Monitoring Agentic Systems Before They're Reliable schlägt vor, agentische Systeme anhand von Qualität, Angemessenheit und Effizienz in drei Bereichen zu beobachten: innerhalb einer Ausführung, zwischen Ausführungen und in der Systemstruktur. Die praktische Konsequenz ist eindeutig: Ein Dashboard für API-Fehler erkennt allein keine unangemessenen Entscheidungen, die technisch korrekt ausgeführt wurden.

Definieren Sie Erfolg anhand beobachtbarer Kriterien. „Guten Service leisten“ ist ein Anspruch. „Die Absicht korrekt klassifizieren, die Anfrage im CRM erfassen und Ausnahmen innerhalb von zwei Minuten an einen Menschen weiterleiten“ ist eine evaluierbare Spezifikation.

Wie sich Geschäftsziele in Testfälle übersetzen lassen

Die konkrete Antwort lautet: Erstellen Sie ein Evaluierungsset aus realen Entscheidungen und relevanten Ausnahmen, nicht nur aus idealen Beispielen.

Ein Evaluierungsset ist eine versionierte Sammlung von Fällen, die Situationen abbildet, welche der Agent lösen muss. Jeder Fall sollte Eingabe, verfügbaren Kontext, erlaubte Tools, Freigabekriterien und gegebenenfalls den erwarteten Zustand nach der Ausführung enthalten.

Beginnen Sie mit fünf Gruppen:

1. Häufige Fälle: Sie repräsentieren das Hauptvolumen und schützen die Effizienz des Prozesses.
2. Kritische Fälle: Sie treten selten auf, haben aber hohe finanzielle, rechtliche oder reputative Auswirkungen.
3. Mehrdeutige Fälle: Sie erfordern eine Bestätigung, die Suche nach zusätzlichem Kontext oder eine menschliche Übergabe.
4. Adversariale Fälle: Sie enthalten widersprüchliche Anweisungen, unvollständige Daten und Versuche, eine missbräuchliche Tool-Nutzung zu erzwingen.
5. Produktionsfehler: Jeder verstandene Vorfall sollte zu einem dauerhaften Regressionsfall werden.

Diese letzte Gruppe ist die wertvollste. Sie verwandelt einen isolierten Fehler in operatives Wissen. Wenn ein Agent eine veraltete Vertriebsrichtlinie angewendet hat, sollte der Fall nach der Korrektur nicht verschwinden. Er wird Teil der Suite, die vor künftigen Änderungen ausgeführt wird.

Vermeiden Sie Tests, die jeden „plausiblen“ Text akzeptieren. Bei transaktionalen Aufgaben muss das Kriterium den Endzustand erfassen. Wenn der Agent behauptet, einen Datensatz aktualisiert zu haben, prüfen Sie, ob das Feld im richtigen System geändert wurde. Wenn er angibt, ein Angebot gesendet zu haben, validieren Sie Empfänger, Dokument und die angewendete Vertriebsregel.

Die Forschung AlphaEval: Evaluating Agents in Production vom April 2026 unterstreicht diesen Unterschied, indem sie vollständige agentische Produkte und nicht nur Modelle bewertet. Die wahrgenommene Leistung hängt vom Zusammenspiel aus Modell, Anweisungen, Tools, Oberfläche, Berechtigungen und Umgebung ab.

Welche Kennzahlen zeigen, ob der Agent besser wird

Die konkrete Antwort lautet: Kombinieren Sie Geschäfts-, Qualitäts-, Risiko- und Effizienzkennzahlen. Eine einzige Erfolgsquote schafft blinde Flecken.

Die erste Kennzahl sollte den Zweck des Workflows widerspiegeln. Das kann die Lösung beim Erstkontakt, die qualifizierte Conversion Rate, die Bearbeitungszeit, die Umsatzrückgewinnung, die Verringerung von Nacharbeit oder die Dokumentenkonformität sein. Das ist die Ergebniskennzahl.

Ergänzend sollten Sie Qualitätskennzahlen verfolgen:

• Quote korrekt abgeschlossener Fälle;
• Quote angemessener menschlicher Übergaben;
• Einhaltung von Richtlinien und Geschäftsregeln;
• korrekte Nutzung von Quellen und Tools;
• Wiederauftreten bekannter Fehler.

Beziehen Sie auch Risikokennzahlen ein. Messen Sie durch Guardrails blockierte Aktionen, Zugriffsversuche außerhalb des Umfangs, zurückgerollte Änderungen, Fälle mit sensiblen Daten und Entscheidungen, die eine nachträgliche Prüfung erforderten. Ein Guardrail ist eine technische oder prozessuale Regel, die gefährliche Aktionen begrenzt, etwa die Genehmigung von Rabatten oberhalb einer Freigabegrenze oder den Zugriff auf Daten außerhalb eines autorisierten Zwecks.

Beobachten Sie abschließend die Effizienz: End-to-End-Latenz, Kosten pro abgeschlossener Aufgabe, Anzahl der Tool-Aufrufe, Anzahl der Versuche und Abbruchrate. Ein Agent, der mehr Fälle löst, aber seine Kosten und Latenz verdreifacht, kann den Gesamtprozess verschlechtern.

Setzen Sie kein universelles Ziel von „95 % Trefferquote“. Die Toleranz muss je nach Aktion variieren. Ein Agent, der Meetings zusammenfasst, kann eine subjektivere Bewertung zulassen. Ein Agent, der Stammdaten aktualisiert, Zahlungen freigibt oder Kunden zu Verträgen berät, benötigt strengere Kriterien, eine Zustandsbestätigung und klar begrenzte Autonomie.

Wie subjektive Antworten bewertet werden, ohne einem anderen Modell blind zu vertrauen

Die konkrete Antwort lautet: Nutzen Sie automatische Evaluatoren für Skalierung, kalibrieren Sie sie jedoch durch wiederkehrende menschliche Prüfung.

Nicht jede Aufgabe hat eine eindeutige Antwort. Tonalität, Klarheit, Vollständigkeit, Nutzen und Kontextangemessenheit sind subjektive Dimensionen. In solchen Fällen kann ein LLM als Richter die Ausgabe des Agenten mit einer strukturierten Rubrik vergleichen. Die Rubrik muss genau benennen, was bewertet wird, welche Nachweise relevant sind und unter welchen Bedingungen die Antwort nicht besteht.

Aber auch der Evaluator macht Fehler. Er kann lange Antworten bevorzugen, Selbstsicherheit mit Genauigkeit verwechseln oder die Biases des Modells selbst reproduzieren. Deshalb sollte automatisiertes Urteil nicht als eigenständige Wahrheit behandelt werden.

Eine robuste Praxis umfasst vier Kontrollen:

1. Verwenden Sie aufgabenspezifische Kriterien, statt eine allgemeine Qualitätsbewertung anzufordern.
2. Trennen Sie die Bewertung von Inhalt, Sicherheit und Ausführung. Ein einziger Richter für alles verringert die Diagnosefähigkeit.
3. Führen Sie regelmäßige menschliche Stichproben durch, um das automatische Urteil mit der Bewertung von Fachleuten zu vergleichen.
4. Messen Sie Abweichungen. Wenn menschliche Evaluatoren untereinander divergieren, ist die Qualitätsregel noch zu unklar.

Anthropic berichtete in einem Post-Mortem vom April 2026, dass Qualitätsprobleme in agentischen Produkten zunächst schwer von normalen Schwankungen im Nutzerfeedback zu unterscheiden waren und durch interne Evaluierungen nicht unmittelbar reproduziert werden konnten. Die Lehre ist wichtig: Evaluierungen müssen sich weiterentwickeln, wenn die Produktion Signale sichtbar macht, die das Labor nicht erfasst hat.

Wie Agenten überwacht werden, ohne Observability in Rauschen zu verwandeln

Die konkrete Antwort lautet: Überwachen Sie nach Ausnahmen, Verteilungsänderungen und Geschäftsauswirkungen.

Observability ist die Fähigkeit, nachzuvollziehen, was ein System getan hat und warum es zu einem bestimmten Ergebnis gelangt ist. Bei Agenten erfordert dies die Nachverfolgung von Modellversion, Prompt, abgerufenem Kontext, Tool-Aufrufen, Berechtigungen, Zwischenausgaben, Endergebnis und nachgelagertem Feedback.

Der häufigste Fehler besteht darin, alle Traces zu speichern, ohne Prioritäten zu definieren. Eine reife Operation benötigt Alerts, die mit Fehlerhypothesen verbunden sind. Beispiele:

• plötzlicher Anstieg von Übergaben an den menschlichen Support;
• Zunahme von Antworten ohne Quelle bei Themen, die Nachweise erfordern;
• Nutzung eines Tools außerhalb des historischen Musters;
• Rückgang der Abschlussquote nach einem Modellwechsel;
• Anstieg der Versuche pro Ausführung;
• Abweichung zwischen der Aussage des Agenten und dem im System bestätigten Zustand.

Überwachen Sie außerdem Drift, also Verhaltensabweichungen im Zeitverlauf. Er kann durch eine veränderte Zusammensetzung von Anfragen, eine Aktualisierung der Wissensbasis, eine neue Modellversion, eine geänderte Integration oder die Verschlechterung einer externen API entstehen. Der Agent kann weiterhin „funktionieren“ und dennoch schlechtere Ergebnisse liefern.

Observability muss Vergleiche zwischen Versionen ermöglichen. Ohne die Versionierung von Prompt, Richtlinie, Tool und Datenset kann das Team eine Regression keiner wahrscheinlichen Ursache zuordnen. Das Ziel ist nicht, Logs anzuhäufen. Es geht darum, die Zeit zwischen dem Erkennen einer Anomalie, dem Verständnis ihres Ursprungs und der Umsetzung einer sicheren Korrektur zu verkürzen.

Was der operative Zyklus ist, um Fehler zu korrigieren, ohne neue Regressionen zu schaffen

Die konkrete Antwort lautet: Behandeln Sie jede Änderung als testbare Hypothese und gehen Sie über schrittweise Releases vor.

Der Zyklus beginnt mit einer Baseline. Bevor Sie optimieren, erfassen Sie die aktuelle Leistung nach Aufgabentyp, Nutzersegment, verwendetem Tool, Kosten, Latenz und Rate menschlicher Eingriffe. Ohne Baseline sind Verbesserungen nur ein Eindruck.

Folgen Sie anschließend einem disziplinierten Rhythmus:

1. Den Fehler klassifizieren

Bestimmen Sie, ob es sich um einen Fehler im Verständnis, beim Abruf von Kontext, in der Richtlinie, beim Tool, bei Berechtigungen, der Integration oder der Experience handelt. „Der Agent hat einen Fehler gemacht“ ist keine nützliche Diagnose.

2. Den Evaluierungsfall erstellen oder aktualisieren

Reproduzieren Sie den Fehler mit sicheren Daten. Definieren Sie das korrekte Ergebnis und die Signale, die eine erfolgreiche Prüfung belegen. Der Fall schützt die Operation vor Wiederholung.

3. Wenn möglich, jeweils nur eine Variable ändern

Prompt, Modell, Tool und Regel gleichzeitig zu ändern, erschwert die kausale Zuordnung. In kritischen Workflows sind kontrollierte Experimente vorzuziehen.

4. Offline-Evaluierungen und Integrationstests ausführen

Die Offline-Evaluierung prüft das Verhalten in bekannten Fällen. Der Integrationstest bestätigt, dass Tools, Berechtigungen und externe Zustände in einer realitätsnahen Umgebung funktionieren.

5. Schrittweise ausrollen

Nutzen Sie einen begrenzten Traffic-Anteil, einen reduzierten Aktionsumfang oder erweiterte menschliche Aufsicht. Autonomie sollte mit Leistungsnachweisen wachsen, nicht mit bloß behauptetem Vertrauen.

6. Die Wirkung auf den Prozess erneut bewerten

Eine lokale Verbesserung kann den Betrieb verschlechtern. Menschliche Übergaben zu reduzieren ist beispielsweise negativ, wenn der Agent dadurch weniger Fälle korrekt löst.

Diese Methode bringt Agenten einer in kritischen Systemen bereits bekannten Disziplin näher: Qualität ist eine kontinuierlich überprüfte Eigenschaft. Für Abläufe, die mehrere Schritte orchestrieren, können Plattformen wie Centriu Flow Regeln, Freigaben und Kontrollpunkte bündeln. Die Governance hängt jedoch weiterhin von klaren Ergebniskriterien und einem aktiven Evaluierungszyklus ab.

Wo Sie in den nächsten 30 Tagen beginnen sollten

Die konkrete Antwort lautet: Wählen Sie einen klar abgegrenzten Workflow, definieren Sie eine Ergebniskennzahl und erstellen Sie eine kleine, aber repräsentative Suite.

In der ersten Woche erfassen Sie die Entscheidung, die der Agent trifft, und die erwartete Wirkung im Prozess. Identifizieren Sie, wo eine falsche Entscheidung die höchsten Kosten verursacht. In der zweiten Woche sammeln Sie 30 bis 50 reale Fälle, einschließlich Fehlern, Ausnahmen und mehrdeutigen Anfragen. In der dritten Woche implementieren Sie automatische Kriterien für Ergebnis, Richtlinie, Kosten und Latenz. Reservieren Sie menschliche Prüfung für subjektive Fälle und Fälle mit hoher Auswirkung.

Führen Sie in der vierten Woche die Suite bei jeder Änderung aus und etablieren Sie einen festen Prozess zur Analyse von Produktionsfehlern. Versuchen Sie nicht, alles auf einmal zu messen. Der erste Gewinn entsteht dadurch, dass explizit wird, was zuvor implizit war: Welche Entscheidung der Agent treffen darf, unter welchen Bedingungen und woran das Unternehmen erkennt, dass sie korrekt war.

Zuverlässige Agenten sind nicht diejenigen, die am autonomsten wirken. Es sind diejenigen, die Nachweise dafür sammeln, dass sie gut arbeiten, ihre Grenzen erkennen und sich verbessern, ohne dieselben Fehler zu wiederholen.