Nordshield Media

Human-in-the-Loop: Wo Menschen bei KI-Agenten wirklich freigeben sollten

Human-in-the-Loop bei KI-Agenten: Welche Aktionen eine Freigabe brauchen, wie gute Freigaben aussehen und wann Sie Kontrollen lockern. Mit Matrix und Checkliste.

Veröffentlicht
16. November 2026
Lesezeit
16 Minuten
Autor
Nordshield Media
Zurück zum Blog
Eine Hand bestätigt eine Freigabetaste an einer Kontrollstelle, bevor Dokumente im automatisierten Ablauf weiterverarbeitet werden.KI-generiertes Bild
Veröffentlicht am

Human-in-the-Loop bedeutet, dass ein Mensch bestimmte Aktionen eines KI-Agenten prüft und freigibt, bevor sie wirksam werden. Entscheidend ist dabei nicht, ob Menschen beteiligt sind, sondern wo: bei Aktionen, die sich schwer rückgängig machen lassen, nach außen wirken oder teuer werden können. Dieser Leitfaden zeigt, wie Sie diese Stellen finden und Freigaben so gestalten, dass sie nicht zur Formsache werden.

Ein vereinfachtes Beispiel: Ein Team führt einen Agenten ein, der Antworten auf Kundenanfragen entwirft. Zur Sicherheit muss jede Antwort von einem Menschen freigegeben werden. In der ersten Woche liest das Team jeden Entwurf Wort für Wort. In der dritten Woche dauert eine Freigabe noch wenige Sekunden. Gelesen wird nicht mehr, nur noch geklickt.

Die Freigabe ist noch da. Die Kontrolle nicht mehr.

Das ist kein Versagen des Teams, sondern ein Planungsfehler. Wer jede Aktion freigeben lässt, bekommt am Ende weder Sicherheit noch Entlastung. Gute Human-in-the-Loop-Konzepte setzen Menschen gezielt dort ein, wo ihr Urteil wirklich zählt, und lassen den Agenten den Rest erledigen.

Kurz gesagt: Bewerten Sie jede Aktion des Agenten nach vier Fragen: Lässt sie sich rückgängig machen? Wirkt sie nach außen? Wie groß ist der mögliche Schaden? Wie zuverlässig ist der Agent bei solchen Fällen? Daraus ergibt sich, ob die Aktion frei läuft, stichprobenartig geprüft, vorher freigegeben oder ganz an einen Menschen übergeben wird. Erzwingen Sie Freigaben technisch, nicht über den Prompt. Und lockern Sie Kontrollen nur, wenn Zahlen es hergeben.

Was Human-in-the-Loop bedeutet und was nicht

Der Begriff wird oft als Sammelbegriff für „irgendwie ist ein Mensch dabei“ verwendet. Für die Planung hilft eine genauere Unterscheidung:

ModellWas der Mensch tutTypischer Einsatz
Human-in-the-LoopPrüft und gibt frei, bevor die Aktion wirksam wirdZahlungen, Zusagen an Kunden, Änderungen an Stammdaten
Human-on-the-LoopBeobachtet, prüft Stichproben und greift bei Bedarf einBewährte Standardantworten, Einsortieren von Tickets
Human-out-of-the-LoopIst am einzelnen Vorgang nicht beteiligt, verantwortet aber das SystemDaten lesen, Entwürfe anlegen, interne Zusammenfassungen

Kein Agent arbeitet durchgehend in nur einem dieser Modelle. Derselbe Agent kann eine Mail selbstständig einsortieren, eine Antwort zur Freigabe vorlegen und einen Vorgang mit rechtlichem Unterton komplett an einen Menschen übergeben. Human-in-the-Loop ist deshalb keine Eigenschaft des ganzen Agenten, sondern eine Entscheidung pro Aktion.

Warum „Ein Mensch prüft alles“ keine Lösung ist

Alles freigeben zu lassen, wirkt wie die sichere Wahl. In der Praxis hat es drei Nachteile:

  • Freigabemüdigkeit. Wer täglich viele überwiegend richtige Vorschläge sieht, kann mit der Zeit weniger aufmerksam prüfen. Seltene problematische Fälle werden dann leichter übersehen.
  • Automatisierungsvertrauen. Menschen können Vorschlägen eines Systems zu stark vertrauen. Das NIST beschreibt dieses Risiko als Automation Bias im Abschnitt 2.7 „Human-AI Configuration“ seines Risikoprofils für generative KI. Eine Freigabe schützt nur, wenn die prüfende Person realistisch die Chance hat, einen Fehler zu bemerken.
  • Der Nutzen kann schrumpfen. Wenn jeder Vorgang auf einen Menschen wartet, können Prüfaufwand und Wartezeiten die eingesparte Arbeit aufzehren. Ob der Agent entlastet, muss über den gesamten Ablauf gemessen werden.

Das Ziel ist also nicht möglichst viel Kontrolle, sondern Kontrolle an den richtigen Stellen.

Vier Fragen: Wann braucht eine Aktion eine Freigabe?

Gehen Sie jede Aktion durch, die Ihr Agent ausführen kann, und stellen Sie vier Fragen.

1. Lässt sich die Aktion rückgängig machen?

Ein falsch einsortiertes Ticket ist in Sekunden korrigiert. Eine verschickte Mail, eine ausgelöste Überweisung oder ein gelöschter Datensatz nicht. Je schwerer eine Aktion umkehrbar ist, desto eher gehört eine Freigabe davor.

2. Wirkt die Aktion nach außen?

Alles, was Kunden, Lieferanten oder Behörden erreicht, ist eine Aussage Ihres Unternehmens. Ein interner Entwurf mit Fehler ist ärgerlich. Eine Preiszusage mit Fehler kann bindend sein.

3. Wie groß ist der mögliche Schaden?

Denken Sie in Geld, Haftung, Datenschutz und Vertrauen. Eine Gutschrift über 15 Euro ist etwas anderes als eine über 15.000 Euro. Viele Freigaben brauchen deshalb Schwellenwerte: bis zu einem Betrag frei, darüber mit Freigabe, ab einem weiteren Betrag mit zwei Personen.

4. Wie zuverlässig ist der Agent bei genau diesen Fällen?

Diese Frage beantworten nicht Bauchgefühl und auch nicht der Agent selbst, sondern Ihre Evals für KI-Agenten und unabhängig geprüfte Fälle aus dem Betrieb. Wenn der Agent bei ausreichend vielen repräsentativen Fällen zuverlässig arbeitet, kann die Kontrolle in risikoarmen Kategorien leichter ausfallen. Eine hohe Freigabequote allein reicht dafür nicht. Bei neuen oder seltenen Fallarten bleibt ein Mensch dabei; rechtliche und interne Freigabepflichten gelten unabhängig von der gemessenen Qualität.

Die Freigabe-Matrix: typische Aktionen eingeordnet

Aus den vier Fragen ergibt sich für jede Aktion eine von vier Stufen. Die folgende Übersicht ist ein Ausgangspunkt, keine feste Regel. Je nach Branche und Risiko kann dieselbe Aktion anders eingestuft werden.

Voraussetzung für autonome Aktionen: Datenzugriffe, Empfänger, Verarbeitungszwecke und eingesetzte Dienste sind vorab freigegeben und technisch begrenzt. Auch das Lesen kann Folgen haben, etwa wenn vertrauliche Daten an einen externen Modelldienst übermittelt werden. Eine bereits erfolgte Offenlegung lässt sich durch das Löschen der Zusammenfassung nicht rückgängig machen. Bei ungeklärten Zugriffsrechten oder Datenwegen hält der Agent an.

Aktion des AgentenUmkehrbar?Wirkt nach außen?Empfehlung
Daten innerhalb freigegebener Systeme lesen, suchen, zusammenfassenErgebnis korrigierbar; Offenlegung nichtabhängig vom DatenwegAutonom, nur mit erlaubten Zugriffen und Verarbeitungswegen
Ticket einsortieren, interne Notiz anlegenmeist janein, sofern keine Folgeaktion ausgelöst wirdAutonom, mit Stichproben und begrenzten Rechten
Antwortentwurf im Postfach ablegenmeist janein, sofern kein automatischer Versand folgtAutonom, Versand bleibt separat gesichert
Standardauskunft an Kunden (z. B. Lieferstatus)neinjaAnfangs Freigabe; später Stichprobe nur bei geringem Risiko und belegter Qualität
Stammdaten im ERP oder CRM änderneingeschränktindirektFreigabe, Änderung als Vorher-nachher anzeigen
Angebot, Preis oder Termin zusagenneinjaFreigabe
Gutschrift, Erstattung, ZahlungneinjaFreigabe, ab Schwellenwert zwei Personen
Daten löschenneinindirektFreigabe oder dem Agenten gar nicht erlauben
Kündigung, Beschwerde mit rechtlichem HinweisneinjaÜbergabe an einen Menschen

Auffällig ist die dritte Zeile: Ein Entwurf trennt Vorbereitung und Ausführung. Der Agent bereitet die Antwort vor, der Mensch behält den Versand. Das Anlegen des Entwurfs ist selbst eine Datenverarbeitung und darf keine ungewollten Folgeaktionen auslösen. Für viele erste Agenten ist diese Aufteilung ein guter Ausgangspunkt. Mehr dazu, welche Abläufe sich dafür eignen, lesen Sie in unserem Artikel über passende Anwendungsfälle für KI-Agenten.

Freigabe, Stichprobe, Übergabe: drei verschiedene Werkzeuge

Diese drei werden oft in einen Topf geworfen, lösen aber unterschiedliche Probleme:

  • Freigabe (vorher): Der Agent bereitet die Aktion vollständig vor und hält an. Erst nach Zustimmung wird sie ausgeführt. Richtig für riskante Einzelaktionen.
  • Stichprobe (nachher): Die Aktion läuft sofort, ein Mensch prüft einen Teil der Vorgänge im Nachgang. Richtig für bewährte, umkehrbare Aktionen mit hohem Volumen.
  • Übergabe (statt): Der Agent erkennt, dass ein Fall nicht in seine Zuständigkeit gehört, und gibt ihn mit einer kurzen Zusammenfassung an einen Menschen ab. Richtig für heikle, seltene oder unklare Fälle.

Die Übergabe wird am häufigsten vergessen. Dabei ist sie oft die wichtigste Fähigkeit eines Agenten: zu erkennen, wann er besser nicht handelt. Prüfen Sie diese Fähigkeit ausdrücklich, mit eigenen Übergabefällen in Ihrer Testsammlung.

So sieht eine gute Freigabe aus

Eine Freigabe ist nur so gut wie das, was die prüfende Person zu sehen bekommt. Diese Punkte entscheiden, ob wirklich geprüft oder nur geklickt wird.

Kontext statt nackter Vorschlag. Die Person sieht, worauf sich der Agent stützt: die ursprüngliche Anfrage, die verwendeten Daten, die Quelle. „Lieferung am 24.11.“ ist schwer zu prüfen. „Lieferung am 24.11., laut Auftrag 48213 im ERP“ ist in Sekunden zu prüfen.

Änderungen als Vergleich. Bei Datenänderungen zeigt die Freigabe den alten und den neuen Wert nebeneinander. Niemand sollte einen kompletten Datensatz lesen müssen, um eine geänderte Telefonnummer zu finden.

Auffälligkeiten hervorheben. Ungewöhnlich hohe Beträge, ein neuer Kunde, ein Widerspruch zwischen Mail und System: Solche Hinweise lenken die Aufmerksamkeit dorthin, wo sie gebraucht wird.

Bearbeiten statt nur Ja oder Nein. Oft ist ein Vorschlag fast richtig. Wenn die Person ihn direkt korrigieren kann, geht nichts verloren, und die Korrektur wird zum Lernmaterial.

Ablehnen mit Grund. Ein Klick auf einen von wenigen festen Gründen genügt, etwa „falsche Daten“, „falscher Ton“ oder „hätte übergeben werden müssen“. Diese Gründe zeigen später, wo der Agent besser werden muss.

Keine Sammelfreigabe für riskante Aktionen. Ein Knopf „Alle freigeben“ ist bequem und für Stichproben in Ordnung. Für Zahlungen oder Zusagen hebelt er die Kontrolle aus.

Klare Zuständigkeit und Vertretung. Wer gibt frei, bis wann, und wer übernimmt im Urlaub? Ohne diese Antworten wächst eine Warteschlange, die niemand bemerkt, bis sich ein Kunde beschwert.

Freigaben gehören in die Technik, nicht in den Prompt

Ein häufiger Fehler: Im Prompt steht „Frage vor jeder Zahlung nach.“ Das ist eine Bitte, keine Regel. Sprachmodelle befolgen Anweisungen meistens, aber nicht garantiert, und eine geschickt formulierte Nachricht kann sie gezielt aushebeln.

Verlässlich wird eine Freigabe erst, wenn sie in der Werkzeugschicht erzwungen wird: Das Werkzeug „Zahlung auslösen“ führt ohne gültige Freigabe schlicht nichts aus. Zwei Details sind dabei wichtig:

  • Freigegeben wird genau eine Aktion. Was ausgeführt wird, muss exakt dem entsprechen, was die Person gesehen hat. Ändert der Agent danach einen Betrag oder Empfänger, ist die Freigabe ungültig.
  • Der Vorgang wartet sauber. Der Agent hält an und speichert den Zwischenstand dauerhaft. Beim Fortsetzen werden Berechtigung, Gültigkeit der Freigabe und relevante Daten erneut geprüft. Abgelaufene oder durch Änderungen überholte Freigaben führen zu einer neuen Prüfung.

Ein konkretes Beispiel ist LangGraph mit interrupt() und Checkpoints: Der Ablauf kann zur Prüfung angehalten, sein Zustand gespeichert und später mit einer Entscheidung fortgesetzt werden. Für den Betrieb braucht es einen dauerhaften Checkpointer. Beim Fortsetzen kann der betroffene Verarbeitungsschritt erneut beginnen; Aktionen mit Außenwirkung müssen deshalb gegen doppelte Ausführung abgesichert sein. Das Framework ersetzt weder die Berechtigungsprüfung noch die Bindung der Freigabe an die konkrete Aktion.

Wie Sie die Rechte eines Agenten von Anfang an begrenzen, beschreiben wir ausführlicher im Abschnitt über ungeklärte Rechte in unserem Artikel KI-Prototypen in Produktion bringen.

Beispiel: Eine geänderte Lieferadresse freigeben

Das folgende konstruierte Beispiel zeigt eine mögliche Gestaltung; es ist kein Bericht aus einem Kundenprojekt. Ein Kunde bittet per E-Mail darum, die Lieferadresse eines offenen Auftrags zu ändern. Der Agent darf den Auftrag lesen und die Änderung vorbereiten. Das Schreiben ins ERP bleibt bis zur Freigabe gesperrt.

PrüffeldWas die zuständige Person sieht
Vorgang und QuelleAuftrag 48213, ursprüngliche Kundenmail und aktueller ERP-Datensatz
Geplante ÄnderungBisherige und vorgeschlagene Lieferadresse nebeneinander
GeltungsbereichNur dieser offene Auftrag; keine Änderung der Kundenstammdaten
AuffälligkeitDie neue Adresse weicht von der hinterlegten Adresse ab; Identität und Änderungsberechtigung sind zu prüfen
EntscheidungBearbeiten, ablehnen oder genau diese Änderung freigeben

Die Freigabe wird an Auftragsnummer, neue Adresse und Version des geprüften Datensatzes gebunden. Hat sich der Auftrag inzwischen geändert oder wurde er bereits versandt, führt das Werkzeug die Änderung nicht aus und legt den Fall erneut vor. Ein wiederholter Aufruf darf dieselbe Änderung nicht mehrfach auslösen. Im Protokoll stehen die geprüfte Änderung, die entscheidende Person, der Zeitpunkt und das Ausführungsergebnis.

Der Nutzen dieser Aufteilung: Die Person muss den Auftrag und die Unterschiede nicht selbst zusammensuchen, entscheidet aber weiterhin über die konkrete Änderung. Ob dadurch tatsächlich Zeit gespart wird, lässt sich über Bearbeitungszeit, Wartezeit und Fehlerquote prüfen.

Freigaben messen: Wann Sie Kontrollen lockern können

Bei bewährten, risikoarmen Kategorien können Freigaben schrittweise durch Stichproben ersetzt werden. Bei riskanten Aktionen oder rechtlichen und internen Freigabepflichten bleiben sie dauerhaft bestehen. Damit eine Lockerung auf belastbaren Daten beruht, messen Sie pro Kategorie von Vorgängen:

KennzahlWas sie zeigt
Übernahme ohne ÄnderungWie oft der Vorschlag genau so freigegeben wird
Art der ÄnderungenOb Menschen nur Formulierungen glätten oder Fakten korrigieren
Ablehnungen nach GrundWo der Agent systematisch danebenliegt
Unabhängig geprüfte Fehler und deren SchwereOb auch in unverändert freigegebenen Vorgängen Fehler übersehen werden
Anzahl und Abdeckung der geprüften FälleOb die Datenmenge und die vertretenen Fallarten eine Entscheidung tragen
Zeit pro FreigabeSehr kurze Zeiten sind ein Warnsignal für Klicken ohne Lesen
Wartezeit bis zur FreigabeOb die Freigabe zum Engpass wird

Legen Sie vorher fest, unter welchen Bedingungen eine risikoarme Kategorie eine Stufe weiterrücken darf. Zum Beispiel:

Für reine Lieferstatus-Auskünfte ohne neue Terminzusage wird ein Wechsel zur Stichprobe geprüft, wenn vier Wochen lang mindestens 98 % der Vorschläge ohne inhaltliche Änderung freigegeben wurden. Zusätzlich müssen eine vorab festgelegte Zahl repräsentativer Fälle unabhängig geprüft, die zulässige Fehlerschwere eingehalten und die Evals stabil sein. Rechtliche oder interne Pflichten dürfen dem Wechsel nicht entgegenstehen. Ein schwerer Fehler oder eine überschrittene Fehlerschwelle führt zurück zur Freigabe.

Die Zahlen in diesem Beispiel sind angenommen und kein allgemeiner Sicherheitsmaßstab. Eine hohe Übernahmequote belegt allein keine Richtigkeit: Menschen können Fehler übersehen. Welche Fallzahl, Fehlerschwelle und Stichprobe passen, hängt vom Risiko und der Vielfalt der Kategorie ab. Wichtig ist, dass der Weg in beide Richtungen festgelegt ist. Dann entscheidet nicht die Stimmung im Team, sondern eine Regel, auf die sich alle vorher geeinigt haben.

Was Datenschutz und KI-Verordnung verlangen

Für manche Entscheidungen ist menschliche Beteiligung nicht nur sinnvoll, sondern rechtlich relevant. Zwei Regelwerke sind besonders wichtig. Die folgenden Hinweise ersetzen keine Rechtsberatung.

DSGVO, Artikel 22. Die Datenschutz-Grundverordnung gibt Personen das Recht, keiner ausschließlich automatisierten Entscheidung unterworfen zu werden, die ihnen gegenüber rechtliche Wirkung entfaltet oder sie in ähnlicher Weise erheblich beeinträchtigt. Die Verordnung nennt als Beispiele die automatische Ablehnung eines Online-Kreditantrags oder Bewerbungsverfahren ohne menschliches Eingreifen. Ausnahmen sind möglich, aber an Bedingungen geknüpft. Die europäischen Datenschutzbehörden betonen in ihren Leitlinien zu automatisierten Entscheidungen, dass ein Mensch, der Entscheidungen nur formal abnickt, die Entscheidung nicht zu einer menschlichen macht. Die Person muss die Befugnis und die Kompetenz haben, die Entscheidung tatsächlich zu ändern.

EU-KI-Verordnung, Artikel 14. Die KI-Verordnung (AI Act) verlangt für Hochrisiko-KI-Systeme eine wirksame menschliche Aufsicht. Die Systeme müssen so gestaltet sein, dass die beaufsichtigenden Personen ihre Fähigkeiten und Grenzen verstehen, ihre Ausgaben richtig deuten, sich der Neigung zum Automatisierungsvertrauen bewusst bleiben und das System übersteuern oder anhalten können. Aufsicht bedeutet dabei nicht automatisch eine Freigabe jeder einzelnen Aktion.

Fristen, Stand 16. November 2026: Nach der Mitteilung der EU-Kommission zum Inkrafttreten des AI Omnibus gilt die Änderung seit dem 27. Juli 2026. Für die hier relevanten Hochrisiko-Vorschriften sind zwei Anwendungszeitpunkte zu unterscheiden:

EinordnungAnwendungszeitpunkt
Hochrisiko-Anwendungsfälle nach Artikel 6 Absatz 2 und Anhang III, etwa bestimmte Anwendungen in Personalauswahl und Kreditwürdigkeitsprüfung2. Dezember 2027
Produktbezogene Hochrisiko-Systeme nach Artikel 6 Absatz 1 in Verbindung mit Anhang I2. August 2028

Diese Fristen betreffen die genannten Hochrisiko-Vorschriften und verschieben nicht sämtliche Pflichten aus der KI-Verordnung. Ob ein Agent als hochriskant einzustufen ist, hängt insbesondere von seiner Zweckbestimmung und seinem Einsatzkontext ab. Das Einsortieren von Mails oder Vorbereiten von Angeboten allein erlaubt keine pauschale Einstufung. Unabhängig davon bleiben Datenschutz, Zugriffsrechte und andere anwendbare Vorgaben zu beachten. Menschliche Kontrolle muss wirksam sein, nicht nur vorhanden.

Typische Fehler bei Human-in-the-Loop

Alles freigeben lassen. Führt zu Freigabemüdigkeit und nimmt dem Agenten seinen Nutzen. Besser: nach Risiko staffeln.

Freigabe nur im Prompt. Eine Anweisung an das Modell ist keine Sicherung. Freigaben gehören in die Werkzeuge.

Freigabe ohne Kontext. Wer nicht sieht, worauf sich der Vorschlag stützt, kann ihn nicht prüfen und wird ihn trotzdem freigeben.

Keine Übergabe vorgesehen. Ein Agent, der jeden Fall selbst bearbeiten muss, wird auch die Fälle bearbeiten, die er nicht verstehen kann.

Korrekturen versanden lassen. Jede Änderung in der Freigabe zeigt eine Lücke des Agenten. Wer sie nicht auswertet und in Testfälle übersetzt, verschenkt das beste Material, das es gibt.

Kontrollen nach Gefühl lockern. „Läuft doch gut“ ist keine Kennzahl. Ohne vorher festgelegte Schwellen wird entweder zu früh oder nie gelockert.

Checkliste: Ist Ihr Human-in-the-Loop gut geplant?

  • Jede Aktion des Agenten ist einer Stufe zugeordnet: autonom, Stichprobe, Freigabe oder Übergabe.
  • Erlaubte Datenzugriffe, Verarbeitungswege und mögliche Folgeaktionen sind geprüft und technisch begrenzt.
  • Für Beträge und andere Risiken gibt es Schwellenwerte.
  • Freigaben werden in der Werkzeugschicht erzwungen, nicht nur im Prompt.
  • Ausgeführt wird genau das, was freigegeben wurde.
  • Änderungen, abgelaufene Freigaben und wiederholte Aufrufe sind abgesichert.
  • Die Freigabe zeigt Kontext, Quelle und Änderungen im Vergleich.
  • Vorschläge lassen sich bearbeiten, Ablehnungen haben einen Grund.
  • Zuständigkeit und Vertretung für Freigaben sind geregelt.
  • Übernahmequote, unabhängig geprüfte Fehler, Fallabdeckung und Zeit pro Freigabe werden gemessen.
  • Es ist festgelegt, welche Kategorien dauerhaft eine Freigabe brauchen und wann andere gelockert oder wieder strenger geprüft werden.
  • Korrekturen aus Freigaben fließen regelmäßig in die Testfälle.

Häufige Fragen

Verliert der Agent nicht seinen Nutzen, wenn Menschen freigeben müssen?

Eine gut gestaltete Freigabe kann weiterhin Zeit sparen: Der Agent bereitet den Entwurf vor und stellt die Quellen zur Prüfung zusammen. Ob sich das lohnt, zeigen Bearbeitungszeit, Wartezeit und Fehlerquote im Vergleich zum bisherigen Ablauf. Bewährte, risikoarme Kategorien können bei belegter Qualität zur Stichprobe wechseln. Bei riskanten Aktionen oder verbindlichen Freigabepflichten bleibt die vorherige Prüfung bestehen.

Wie viele Freigaben pro Tag sind zumutbar?

Eine feste Zahl gibt es nicht. Prüfen Sie den Zeitbedarf, die Komplexität und unabhängig gemessene Fehler. Sehr kurze Prüfzeiten können auf Überlastung oder oberflächliches Prüfen hinweisen. Entlasten Sie dann die zuständigen Personen oder verbessern Sie die Darstellung. Ein Wechsel zur Stichprobe ist nur bei geringem Risiko, belegter Qualität und ohne entgegenstehende Pflichten sinnvoll.

Wer sollte freigeben?

Fachkundige Personen, die den Ablauf verstehen und zur Entscheidung befugt sind. Sie brauchen ausreichend Kontext, Zeit und die Möglichkeit, Vorschläge zu ändern oder abzulehnen. Häufig sind das die Menschen, die den Ablauf bereits bearbeiten. Die IT setzt die technischen Grenzen um; die fachliche Verantwortung und gegebenenfalls ein Vier-Augen-Prinzip werden ausdrücklich festgelegt.

Reicht es nicht, wenn der Agent selbst sagt, wie sicher er sich ist?

Als zusätzlicher Hinweis kann das helfen, als alleinige Grundlage nicht. Sprachmodelle schätzen ihre eigene Sicherheit nicht immer zuverlässig ein. Verlässlicher sind feste Regeln, etwa Beträge, Fallarten oder neue Kunden, und die Ergebnisse Ihrer Evals.

Was ist der Unterschied zwischen Human-in-the-Loop und Human-on-the-Loop?

Bei Human-in-the-Loop gibt ein Mensch eine Aktion frei, bevor sie wirksam wird. Bei Human-on-the-Loop läuft die Aktion sofort, und ein Mensch überwacht das System, prüft Stichproben und greift bei Bedarf ein. Die meisten Agenten nutzen beides, je nach Aktion.


Sie planen einen Agenten und fragen sich, wo Menschen entscheiden sollten? Wir gehen mit Ihnen jede Aktion durch, legen Freigaben, Schwellen und Übergaben fest und setzen sie technisch so um, dass sie wirklich greifen. Mehr dazu, wie wir Agenten mit Werkzeugen, Rechten und Freigaben bauen, lesen Sie unter AI Agents. Jetzt unverbindlich anfragen

  • Human-in-the-Loop
  • Agents
  • Guardrails

Nächster Schritt

Welcher Ablauf soll Ihr erster Agent übernehmen?

Use Case besprechen

Unverbindlich. Sie bekommen eine ehrliche Einschätzung – auch wenn sie „lohnt sich nicht“ lautet.