Agentische KI-Systeme verschieben die Grenzen menschlicher Kontrolle in Unternehmen. Wann reicht Überwachung, wann braucht es explizite Freigaben?
Ein KI-System, das eigenständig Zahlungen ausführt oder Datensätze ändert, stellt die Integrität ganzer Geschäftsprozesse auf die Probe. Die operative Frage: Wo muss ein Mensch zwingend eingreifen, und wann genügt es, wenn das System selbstständig arbeitet und nur überwacht wird? Die Entscheidung zwischen "Human-in-the-Loop" und "Human-on-the-Loop" wirkt sich direkt auf Haftung und Effizienz aus.
Beim "Human-in-the-Loop"-Modell prüft und genehmigt eine Person jeden kritischen Schritt. Das System wartet, bis die Freigabe erfolgt. Dieser Ansatz eignet sich für irreversible oder weitreichende Entscheidungen, etwa bei Transaktionen, die sich nicht einfach zurücknehmen lassen. "Human-on-the-Loop" bedeutet dagegen: Das KI-System arbeitet eigenständig, ein Mensch überwacht und greift nur bei Bedarf ein. Das spart Zeit bei Aufgaben mit hohem Volumen und überschaubarem Risiko, weil ständige Freigaben Prozesse ausbremsen würden.
Die Wahl des Kontrollmodells ist mehr als eine Formalie. Setzen Unternehmen zu oft auf menschliche Freigaben, drohen Approval Fatigue und reine Abhakprozesse ohne echte Prüfung. Zu viel Automatisierung birgt das Risiko, dass Fehler erst spät auffallen. Automation Bias - das blinde Vertrauen in die Technik - kann dazu führen, dass seltene, aber gravierende Fehler durchrutschen. Unternehmen müssen deshalb klar festlegen, welche Entscheidungen automatisiert laufen dürfen und wo menschliche Kontrolle Pflicht bleibt.
Artikel 14 der EU-Verordnung über künstliche Intelligenz verlangt, dass Hochrisiko-KI-Systeme so gestaltet werden, dass eine wirksame menschliche Aufsicht möglich ist. Die Aufsicht muss sich am Risiko, am Autonomiegrad und am Nutzungskontext orientieren.
Agentische KI-Systeme unterscheiden sich grundlegend von klassischen Empfehlungssystemen. Während früher meist ein Mensch entschied, ob er einen KI-Vorschlag übernimmt, führen agentische Systeme eigenständig Aktionen aus - von der Datenaktualisierung bis zur Zahlungsanweisung. Fehler werden dadurch oft erst nach der Ausführung entdeckt und müssen dann korrigiert werden. Das erhöht die Anforderungen an Prozessgestaltung und Dokumentation der Verantwortlichkeiten.
Gerade bei "Human-on-the-Loop"-Modellen lässt die Aufmerksamkeit der Überwachenden mit der Zeit nach. Läuft ein System längere Zeit fehlerfrei, sinkt die Bereitschaft, einzelne Entscheidungen kritisch zu prüfen. Stichprobenmechanismen helfen dagegen: Das System wählt zufällig Aktionen aus, die nachträglich von Menschen geprüft werden. So bleibt die Wirksamkeit der Kontrolle messbar, ohne den Ablauf zu verlangsamen.
Wie viel menschliche Kontrolle ein Prozess braucht, hängt von Rückabwickelbarkeit, Haftungsregeln und Entscheidungsdruck ab. Bei schwer reversiblen oder haftungsrelevanten Vorgängen spricht vieles für eine explizite Freigabe. Für Aufgaben, die schnell und in großer Zahl erledigt werden, kann Überwachung reichen - sofern Risiken begrenzt und Eingriffsmöglichkeiten klar geregelt sind.
Regulatorische Vorgaben greifen ebenfalls. Die EU-Verordnung über künstliche Intelligenz verlangt für Hochrisiko-KI-Systeme eine wirksame menschliche Aufsicht, die sich am Risiko, Autonomiegrad und Nutzungskontext orientiert. Unternehmen müssen dokumentieren, wie Entscheidungen getroffen wurden, wer beteiligt war und welche Maßnahmen das System eigenständig ausgeführt hat. Die Prozesslogik muss verhindern, dass ein KI-System selbst entscheidet, wann menschliche Kontrolle nötig ist. Diese Vorgaben müssen technisch und organisatorisch fest verankert sein. Die aktuellen Leitlinien des BSI fordern zudem eine kontinuierliche Risikoüberwachung und eine klare Dokumentation der Kontrollmechanismen.
Die Grenze zwischen menschlicher und maschineller Entscheidungshoheit darf nicht dem System überlassen werden. Prozesse müssen so gestaltet sein, dass jederzeit nachvollziehbar bleibt, wann ein Mensch eingegriffen hat und wann das System autonom gehandelt hat. Nur so können Unternehmen gegenüber Prüfern belegen, dass Risiken angemessen adressiert wurden. Die Dokumentation der Verantwortlichkeiten zählt dabei ebenso wie die technische Umsetzung der Kontrollmechanismen.
Die Entwicklung agentischer KI zwingt Unternehmen, ihre Governance-Strukturen neu zu denken. Es reicht nicht, möglichst viel Autonomie zuzulassen. Entscheidend ist, Autonomie dort zu erlauben, wo sie echten Mehrwert bringt, und menschliche Kontrolle dort zu sichern, wo sie für Sicherheit, Haftung und Nachvollziehbarkeit unerlässlich bleibt. Wer diese Balance nicht aktiv steuert, riskiert operative Fehler und regulatorische oder reputative Schäden.
Agentische KI beschreibt Systeme, die eigenständig Aktionen ausführen können - etwa Zahlungen auslösen oder Geschäftsvorfälle bearbeiten. Im Unterschied zu klassischen KI-Anwendungen, die auf menschliche Bestätigung angewiesen sind, agieren agentische Systeme mit mehr Autonomie. Die Gestaltung der Schnittstellen zwischen menschlicher Kontrolle und maschineller Entscheidungsfindung bleibt ein zentrales Thema für Unternehmen, die KI in kritischen Prozessen einsetzen.
