Im April 2026 bauten Forschende der UC Berkeley einen Agenten, der in sieben von acht gängigen Agenten-Benchmarks 100 % erzielte, darunter SWE-bench Verified und Pro, Terminal-Bench, WebArena, FieldWorkArena und CAR-bench. Keine der zugrunde liegenden Aufgaben hat er gelöst. Er las den Bewertungscode und nutzte ihn aus. Ein Trick war eine zehnzeilige Testdatei, die jedes Ergebnis in „bestanden“ umschrieb. Ein anderer war ein ersetzter curl-Befehl, der immer die erwartete Antwort zurückgab. Ein dritter war eine Konfigurationsdatei, die den Lösungsschlüssel verriet. Von den 13 Benchmarks, die das Team untersuchte, wurde jeder als ausnutzbar bewertet.

Ein Platz auf einer Rangliste ist eine Behauptung von jemandem, der ein Interesse an der Zahl hat. Die einzige Bewertung, der ein Käufer trauen kann, ist die, die er selbst geschrieben hat, über seine eigene Arbeit, und die er für sich behalten hat. Das klingt nach einem Ratschlag für ein Forschungslabor. Für ein Team in der Kreditorenbuchhaltung ist es die Arbeit eines Nachmittags, und am schnellsten sieht man das, wenn man einen einzigen Fall von einem Satz bis zur Freigabeschranke verfolgt.

Der folgende Fall ist erfunden, um die Mechanik zu zeigen. Er stammt nicht aus einem Kundenprojekt, und die Bestehensquoten sind ausgedacht. Die einzigen gemessenen Tatsachen hier sind die Berkeley-Befunde oben.

Der Satz, und der Fall, den er verbirgt

Das Projekt beginnt mit einer Anforderung der üblichen Art: Der Agent soll „Lieferantenrechnungen bearbeiten“. Darüber, ob das erfüllt wurde, kann niemand streiten.

Nehmen Sie also eine einzige Sache, die passiert. Eine Rechnung kommt per E-Mail für einen Lieferanten, der schon im System steht, und es gibt keine Bestellung dahinter. Was soll der Agent tun? Fragen Sie die Sachbearbeiterin in der Kreditorenbuchhaltung und den Einkäufer, getrennt. Die eine sagt, ablehnen und zurückschicken. Der andere sagt, als Entwurf parken und beim Einkauf nachfragen, weil die Hälfte davon echte Bestellungen sind, die jemand telefonisch aufgegeben hat. Dieser Widerspruch ist das erste nützliche Ergebnis der ganzen Übung, und er kam, bevor irgendein Modell beteiligt war. Den Fall zu schreiben erzwingt die Auseinandersetzung, die das Projekt ohnehin brauchte.

Nehmen wir an, sie entscheiden sich für die zweite Antwort. Der Fall ist nun aufgeschrieben als eine Situation, ein Satz Werkzeuge und ein richtiges Ergebnis. Die Eingabe ist die E-Mail und ihr PDF. Die Werkzeuge sind Leserechte auf Bestellungen und Lieferanten und das Recht, eine Eingangsrechnung als Entwurf anzulegen. Das richtige Ergebnis ist eine Entwurfsrechnung, mit dem richtigen Lieferanten verknüpft, als ohne Bestellung markiert und dem Einkäufer zur Prüfung zugewiesen. Daneben steht eine Liste von Ergebnissen, die unabhängig von der Eingabe nie eintreten dürfen: die Rechnung gebucht, eine Zahlung terminiert, der Lieferantendatensatz geändert, ein zweiter Entwurf für dieselbe Rechnung angelegt.

Schreiben sollten das die Leute, die wissen, auf welche Weisen Rechnungen schiefgehen, und damit ist es eher das Dokument der Sachbearbeiterin als das der Entwickler. Wir halten den Satz von Testfällen für die eigentliche Produktspezifikation, und je früher die Menschen, die die Arbeit tun, ihn schreiben, desto früher lernt das Projekt, was es baut.

Der Lauf, bewertet an der Datenbank

Die meisten Ratschläge zur Bewertung stammen aus der Chatbot-Zeit: Antwort lesen, Antwort bewerten. Ein Agent ändert das. Er legt Datensätze an, schickt Nachrichten und bewegt Geld, was er sagt ist also der unzuverlässigste Hinweis darauf, was er getan hat. Eine flüssige Abschlussnachricht kann auf einem falschen Werkzeugaufruf mit glücklichem Ausgang sitzen, und eine holprige kann einem richtigen Ablauf folgen.

Ein ERP gibt Ihnen einen besseren Prüfer als jedes Modell. Laden Sie eine Sandbox-Kopie von Odoo oder ERPNext mit realistischen Daten, nehmen Sie einen Snapshot der Datenbank, lassen Sie den Agenten die E-Mail bearbeiten und nehmen Sie einen zweiten Snapshot. Stellen Sie dann zwei Fragen an die Differenz. Ist der richtige Datensatz im richtigen Zustand erschienen? Und hat sich noch etwas anderes geändert? Die zweite Frage lassen Teams aus, und dort bucht ein Agent, der „funktioniert hat“, still eine Rechnung, die er nur entwerfen sollte. Eine ausgelassene Aktion ist sichtbar und wird gemeldet. Eine falsche Aktion, begraben in einem Hauptbuch, kann dort einen Monat liegen.

Lassen Sie den Fall nun erneut laufen. Agenten sind nicht deterministisch, und ein Fall, der einmal besteht, hat nur gezeigt, dass Bestehen möglich ist. Sagen wir, er läuft zehnmal und der Endzustand stimmt bei sieben. Ob sieben von zehn akzeptabel sind, hängt von der Aktion ab. Für eine Buchung im Hauptbuch ist es ein nicht bestandener Fall. Für eine Entwurfszusammenfassung eines langen Verlaufs kann es genügen. Die Schwelle folgt den Kosten des Fehlgriffs, setzen Sie sie also, bevor Sie das Ergebnis sehen, und setzen Sie sie je Klasse von Aktion.

Nehmen wir nun an, der erste vollständige Lauf geht auf die Weise schief, auf die es ankommt. Die Nachricht des Agenten sagt „Entwurf angelegt und an den Einkauf geschickt“, und ein Prüfer, der nur die Nachricht liest, würde das bestehen lassen. Die Datenbank sagt etwas anderes: Die Rechnung wurde gebucht, nicht entworfen, weil das Werkzeug, das eine Rechnung anlegt, standardmäßig bucht. Eine Durchsicht des Gesprächsprotokolls hätte das übersehen, und die Liste der verbotenen Ergebnisse fängt es in Sekunden. Die Behebung ist klein, ein Werkzeugargument und eine Zeile im Prompt. Der Sinn des Falls liegt in dem, was danach passiert: Der ganze Satz läuft erneut, nicht nur dieser Fall, denn eine Behebung für ein Verhalten ist genau die Art Änderung, die still ein anderes kaputt macht. Bestehen die früheren Fälle weiter an ihren Schwellen, geht die Änderung raus. Ist einer abgerutscht, haben Sie es in einer Sandbox erfahren und nicht in einem Hauptbuch.

Beachten Sie, wie wenig Maschinerie das gebraucht hat: zwei Prüfungen, eine Liste verbotener Ergebnisse und eine Zahl von Wiederholungen. Frameworks schlagen sechs oder mehr bewertete Dimensionen vor, darunter Werkzeugwahl, Argumentextraktion, Fehlererholung und Plankohärenz. Alle echt, keine davon am ersten Tag nötig. Ergänzen Sie eine, wenn ein Fehler Ihnen zeigt, welche Ihnen fehlt.

Die Schranke, und der nächste Fall

Ein Fall, der in einem Dokument lebt, schützt nichts. Setzen Sie ihn in die Build-Pipeline, damit eine Prompt-Änderung, ein Modellwechsel oder ein neues Werkzeug nicht ausgeliefert werden können, ohne dieselben Fälle an denselben Schwellen zu bestehen. Wenn im Betrieb etwas schiefgeht, und irgendwann geht etwas schief, wird daraus der nächste Fall. Ohne diese Schleife zahlen Sie denselben Fehler zweimal.

Öffentliche Benchmarks haben einen Platz, einen kleinen. Nutzen Sie sie einmal, früh, um zu sehen, ob ein Modell überhaupt in einem vernünftigen Bereich liegt, bevor Sie in es investieren. Sie können Ihre Schemata, Ihre Freigaberegeln und Ihre Randfälle nicht kennen, und das Ergebnis aus Berkeley zeigt, wie leicht sie sich biegen lassen. Ist der einzige Beleg hinter einer Go-live-Entscheidung eine Vorführung und ein Benchmark-Wert, dann ist das genau die Lage, die die Forschenden offengelegt haben, und sie ist dem Normalfall näher, als sie sein sollte.

Bewertung gilt noch weithin als etwas, das Entwickler tun, und die meisten Käufer wurden noch nie gebeten mitzumachen. Sie sollten es: Eine Ausgangsbasis, der Sie nicht trauen, kann keine Entscheidung über eine Ausweitung tragen, was der Punkt unseres Beitrags zum ROI agentischer KI ist, und sobald ein Agent läuft, gehören dieselben Fälle zum Entscheidungsprotokoll, das unser Beitrag zur Nachvollziehbarkeit von KI-Agenten beschreibt.

ThinqHub implementiert Odoo und ERPNext, eine Sandbox mit realistischen Datensätzen ist für uns also ein normaler Ausgangspunkt. Wenn Sie die Eval-Ebene zusammen mit dem Ablauf entworfen haben wollen und nicht erst, wenn ein Pilot ins Stocken gerät, beginnt unser Vorgehen dort. Melden Sie sich bei uns, bevor ein Starttermin der einzige Beleg für Einsatzbereitschaft ist.