Human in the Loop bei KI-Agenten: Freigabe ist keine Aufsicht

„Human in the Loop“ ist der Satz, mit dem Anbieter Ihre Sorgen beruhigen wollen. Irgendwo im Produkt klickt ein Mensch auf „Freigeben“, also ist der Agent beaufsichtigt. Wir halten das für eine Verwechslung zweier Dinge. Eine Freigabe ist ein Ereignis. Aufsicht ist eine Fähigkeit, und genau sie wurde Ihnen versprochen.

Dass beides auseinanderfällt, lässt sich ungewöhnlich direkt belegen. Anthropic, der Hersteller von Claude Code, berichtet, dass seine Nutzer 93 % der Berechtigungsabfragen bestätigen. Befragt wurden Nutzer eines Coding-Agenten, die Zahl sagt also nichts über Rechnungen oder Bestellungen. Sie beschreibt aber einen Mechanismus, und der lässt sich übertragen. Wer vierzigmal am Tag dieselbe Art von Aktion bestätigen soll, liest sie ab dem zehnten Mal nicht mehr. Anthropic hat darauf reagiert und Klassifikatoren gebaut, die einen Teil dieser Abfragen automatisch entscheiden, weil die manuelle Hürde niemanden schützte.

Wie ein Stempel im ERP aussieht

Der folgende Fall ist konstruiert. Er stammt von keinem Kunden, aus keinem früheren Projekt und aus keiner Messung. Ein Agent erstellt Eingangsrechnungen als Entwurf aus per E-Mail eingehenden Rechnungen und legt jeden Entwurf einer Person zur Bestätigung vor. Am ersten Tag prüft die Sachbearbeiterin jedes Feld. In der dritten Woche stehen zweihundert Posten in der Warteschlange, fast alle korrekt, und sie hat gelernt, dass der Knopf immer sicher ist. Die eine falsche Rechnung sieht aus wie die anderen 199. Die Freigabe ist protokolliert, der Prüfpfad ist sauber, und der Fehler ging trotzdem durch.

Niemand hat geschlampt. Das Design verlangte von einem Menschen, was Menschen am schlechtesten können: wachsam bleiben gegenüber einem seltenen Fehler, während ein Strom von Erfolgen vorbeizieht.

Vier Änderungen, die die Schleife echt machen

Hürden nach Folgen setzen, nicht nach Menge. Einen Datensatz zu lesen ist etwas anderes als eine Buchung zu erfassen, und eine Buchung ist etwas anderes als eine Zahlung freizugeben. Lassen Sie den Agenten beim Ersten frei arbeiten und setzen Sie Menschen nur dort ein, wo Geld bewegt wird, Bankdaten eines Lieferanten geändert werden oder Kundendaten berührt werden. Gelesen wird nur eine Warteschlange, die kurz genug dafür ist.

Umkehrbarkeit als erste Kontrolle nutzen. Lässt sich eine Aktion billig rückgängig machen, etwa ein Entwurf, den jemand löschen kann, braucht sie eine Prüfung im Nachhinein und keine Erlaubnis vorab. Menschliche Aufmerksamkeit gehört auf das, was sich nicht zurücknehmen lässt. Das entscheidet auch, welche Rechte ein Agent überhaupt bekommt, und darum geht es in unserem Beitrag zu Prompt Injection und Agentensicherheit.

Die Abweichung zeigen, nicht die Zusammenfassung. Die Meldung „Rechnung für Lieferant X über 4.200 anlegen“ lädt zum Klick ein. Eine Ansicht, die das seit dem letzten Mal geänderte Bankkonto oder einen Betrag außerhalb der üblichen Spanne dieses Lieferanten zeigt, lädt zur Entscheidung ein. Der Prüfer soll sehen, was ungewöhnlich ist, denn der Agent weiß es bereits.

Den Freigebenden messen. Erfassen Sie, wie oft eine Person ändert, ablehnt oder zurückgibt, was der Agent vorgeschlagen hat. Eine Ablehnungsquote von null über Monate beweist nicht, dass der Agent perfekt ist. Sie zeigt, dass die Hürde nicht mehr wirkt. Mischen Sie hin und wieder bekannte Fehlerfälle in die Warteschlange und zählen Sie, wie viele gefunden werden. Das ist dieselbe Disziplin wie der Test vor dem Agenten, beschrieben in KI-Agenten-Evals vor dem Produktivbetrieb, nur auf den Menschen statt auf das Modell angewandt.

Wo wir stehen

Ein Mensch in der Schleife ist eine Designaufgabe mit messbarem Ergebnis: der Anteil echter Fehler, den eine Person tatsächlich stoppt. Kann niemand diesen Anteil nennen, ist die Schleife Dekoration, egal wie viele Freigaben im Protokoll stehen.

Wir setzen Odoo und ERPNext um und bauen den Agenten hinter der Oberfläche. Den Freigabeschritt entwerfen wir daher zusammen mit den Berechtigungen, statt ihn am Ende anzuflicken. Wenn Sie entscheiden, wo Agenten in Ihrem eigenen System handeln dürfen, erklärt unsere Seite zum Vorgehen, wie wir das eingrenzen, und die Seite Leistungen zeigt, wo wir helfen können.