Eine Mitarbeiterin fragt den Unternehmensassistenten, welche Kündigungsfrist einem Lieferanten vor Vertragsende zusteht. Der Assistent antwortet sofort, nennt ein Dokument und liegt falsch. Das Dokument, das er nennt, ist ein PDF von 2022. Die geltende Richtlinie ist eine Wiki-Seite von 2024, und der Vertrag selbst sagt noch etwas Drittes.

Nichts an diesem Fehler ist ein Problem des Schlussfolgerns. Alles, was das Modell getan hat, war vernünftig, gemessen an dem, was man ihm gereicht hat. Diesen Fall wollten wir gegen die modische Abhilfe prüfen, nämlich den Retrieval-Schritt in einen Agenten zu wickeln, der seine eigene Arbeit kontrolliert und noch einmal sucht. Wir haben das auf dem Papier getan, Stufe für Stufe, anhand der veröffentlichten Literatur und der Art, wie solche Systeme gebaut werden. Einen eigenen Benchmark haben wir nicht gefahren, was folgt ist also eine Analyse und keine Messung.

Was wir zuerst angesehen haben

Klassisches Retrieval-Augmented Generation (RAG) bettet die Frage ein, holt die nächstliegenden Abschnitte aus einem Vektorspeicher, legt sie in den Prompt und generiert. Es holt einmal und denkt nie neu nach. Agentic RAG wickelt einen Agenten darum: Er entscheidet, ob gesucht wird, wählt eine Quelle, prüft, ob das Ergebnis die Frage beantwortet, und sucht erneut, wenn nicht. Eine Übersichtsarbeit von Rutgers und Forschenden aus der Industrie legt das Muster dar, und der Erklärtext von McKinsey ist eine gute, schlichte Darstellung, warum die Verankerung in eigenen Dokumenten ein Modell ohne Verankerung schlägt.

Die Schleife verdient ihren Platz bei Fragen, die mehrere Dokumente überspannen. Fragen Sie, was mit einem Lieferanten vereinbart wurde und ob das zur Richtlinie passt, trägt ein einzelner Durchgang selten beide Hälften. So weit hat es gehalten.

Wir haben außerdem geprüft, ob überhaupt jemand danach fragt. Google-Ads-Daten, am 11. Oktober 2026 über DataForSEO erhoben (USA, Englisch), weisen für „agentic rag“ kein messbares monatliches Suchvolumen aus, einer von elf Begriffen ohne Volumen unter den fünfzehn Begriffen rund um KI-Agenten, die wir versucht haben. Käufer benutzen unseren Jargon selten, das ist also eine Grenze unserer Sicht und kein Beweis für Abwesenheit. Die schlichte Fassung der Frage, warum der Assistent selbstsicher aus dem falschen Dokument antwortet, ist verbreitet genug.

Wo die Fehler tatsächlich sitzen

Laufen Sie den Fehler vom Anfang durch die Pipeline und fragen Sie auf jeder Stufe, ob eine Schleife ihn gefangen hätte. Drei Mängel im Dokumentenbestand kommen vor, und bei jedem ist die Schleife hilflos.

Mehrere Fassungen, keine Siegerin. Die Urlaubsrichtlinie existiert als PDF von 2022, als Wiki-Seite von 2024 und als E-Mail-Anhang, den jemand abgelegt hat. Die Einbettungen sind nahezu gleich, Retrieval liefert also die, die am höchsten rankt. Ein Agent, der neu abfragt, bekommt dieselben drei Kandidaten und hat kein Mittel zu wissen, welcher aktuell ist. Jemand muss die alten aus dem Verkehr ziehen oder den Status in den Metadaten vermerken, und das ist redaktionelle Arbeit.

Dokumente, die sich widersprechen. Sagt der Vertrag 60 Tage und die Richtlinienseite 30, bringt Retrieval beide nach oben, getreu. Der Agent kann den Widerspruch bemerken, und das ist ein echter Gewinn. Ihn aufzulösen ist eine Geschäftsentscheidung.

Berechtigungen, die zu spät greifen. Sucht der Agent überall und filtert danach, oder filtert er gar nicht, kann er einer jungen Mitarbeiterin eine Vorstandsvorlage zeigen. Retrieval muss als die anfragende Person laufen, mit demselben Zugriff auf Dokumentebene, den die Quellsysteme durchsetzen. Hilfsbereitschaft ist kein Grund, eine Umgehung zu gewähren.

Der Befund, der die Form dieses Beitrags verändert hat, ist, was die Schleife mit diesen Fehlern macht. Ohne sie ist eine falsche Antwort aus einem veralteten Dokument wenigstens ein einzelner, prüfbarer Schritt. Mit ihr versucht der Agent es erneut, bringt zusammen und schreibt einen glatteren Absatz, dieselbe schlechte Quelle kommt also in mehr scheinbarer Sorgfalt verpackt an. Nichts davon zeigt sich in einer Vorführung mit zehn sauberen Dokumenten. Es zeigt sich im dritten Monat echter Nutzung.

Ein vierter Fehler sitzt früher als alle drei: strukturierte Daten in den Vektorspeicher zu legen. Rechnungen, Aufträge und Bestände, exportiert, damit der Agent sie „durchsuchen“ kann, sind exakte Daten, und Ähnlichkeitssuche ist das falsche Werkzeug für exakte Daten. Die offenen Aufträge eines Kunden sind eine Abfrage mit einer genauen Antwort, und das ERP gibt sie direkt und aktuell, wo eine eingebettete Kopie veraltet. ThinqHub implementiert Odoo und ERPNext, und aus unserer Sicht ist die nützliche Bedeutung von „agentisch“ in RAG das Weiterleiten. Der Agent entscheidet, ob die Frage zu Dokumenten oder zu Datensätzen gehört. Richtlinien, Verträge und Handbücher gehen an Retrieval. Salden, Status und Mengen gehen an eine berechtigte Abfrage gegen das führende System. Eine einzelne Frage braucht oft beides, und mit dieser Kombination umzugehen ist das, was die zusätzliche Maschinerie rechtfertigt.

Was die Schleife Ihnen zu entscheiden übrig lässt

Die Schleife kostet Zeit. Eine Pipeline mit einem Durchgang antwortet in einem Umlauf, ein Agent, der prüft und wiederholt, macht vielleicht vier oder fünf. Setzen Sie ein Schrittbudget und eine Zeitgrenze, und entscheiden Sie vorher, was passiert, wenn das Budget aufgebraucht ist. Das richtige Ergebnis ist „Ich konnte keine verlässliche Quelle finden“, und das System muss das sagen können. Ein schlecht gebauter Agent fällt auf das Gedächtnis des Modells zurück und produziert etwas, das verankert klingt und es nicht ist, genau der Fehler, den Retrieval verhindern sollte. Protokollieren Sie jede Retrieval-Entscheidung, damit Sie später zeigen können, welche Quelle welche Aussage gestützt hat, wie in unserem Beitrag zur Nachvollziehbarkeit von KI-Agenten.

Für eine FAQ mit einer einzigen Frage über einen gut gepflegten Wissensbestand ist einfaches RAG die richtige Wahl. Greifen Sie zum Agenten, wenn eine falsche oder unvollständige Antwort teuer ist und die Frage über Quellen hinweg reicht.

Ein erster Schritt kann eng sein. Wählen Sie eine Frage mit hohem Einsatz, die über Quellen hinweg geht. Säubern Sie die Dokumente, von denen sie abhängt, ziehen Sie die veralteten Fassungen zurück, setzen Sie echte Berechtigungen und verdrahten Sie die ERP-Abfrage für die strukturierte Hälfte. Lassen Sie dann die agentische und die einfache Fassung gegen einen festen Satz Testfragen laufen, nach der Methode aus unserem Beitrag zu Evals für KI-Agenten, und behalten Sie den Agenten nur, wenn die falschen Antworten zurückgehen. Um zu sehen, wo Retrieval in Ihren eigenen Systemen bricht, sprechen Sie mit uns über eine zugeschnittene Bestandsaufnahme, oder lesen Sie, wie wir unsere KI-Services zuschneiden.