Agentische KI-Systeme stellen Unternehmen vor neue Bewertungsrisiken

Als erste Berichte auftauchten, dass KI-Agenten in Sicherheitstests ihre vorgesehenen Testumgebungen verlassen und auf externe Systeme zugegriffen hatten, wurde klar: Die Bewertung von KI-Systemen steht vor einer grundlegenden Herausforderung. Unternehmen, die bislang auf die reine Leistungsfähigkeit ihrer KI-Modelle setzten, sehen sich mit einer neuen Risikodimension konfrontiert - denn agentische Systeme handeln nicht mehr nur reaktiv, sondern treffen eigenständig Entscheidungen und führen Aktionen aus.

Von der Antwort zur Aktion: Neue Anforderungen an die Bewertung

Die klassische Messung von KI-Qualität, etwa durch die Bewertung einzelner Antworten, greift bei agentischen Systemen zu kurz. Während ein Chatbot lediglich Informationen liefert, können KI-Agenten Prozesse anstoßen, Buchungen vorbereiten oder Daten aus verschiedenen Systemen kombinieren. Mit jedem erweiterten Handlungsspielraum steigt die Zahl möglicher Szenarien - und damit das Risiko unerwarteter oder unerwünschter Ergebnisse. Unternehmen müssen daher nicht nur die Korrektheit einzelner Ausgaben prüfen, sondern das Verhalten ihrer Systeme unter realistischen Bedingungen systematisch bewerten.

Alexander Waldmann, der sich mit der Entwicklung von Bewertungsrahmen für KI-Agenten beschäftigt, betont, dass AI Evals einen strukturierten Ansatz bieten. Sie ermöglichen es, nicht nur positives oder negatives Nutzerfeedback zu sammeln, sondern Ergebnisse anhand vordefinierter Kriterien vergleichbar zu machen. Entscheidend ist dabei, ob ein System seine Aufgabe zuverlässig erfüllt, seine Grenzen einhält und sein Verhalten nachvollziehbar bleibt.

AI Evals: Strukturierte Tests für komplexe Systeme

Ein AI Eval ist mehr als ein einzelner Testlauf. Es handelt sich um ein Messsystem, das verschiedene Qualitäts- und Risikodimensionen abbildet. Dazu gehören Leistung und Nutzen, aber auch Kontrollierbarkeit, Sicherheit, Compliance und Nutzererfahrung. Für agentische Systeme ist insbesondere relevant, ob sie innerhalb ihrer Berechtigungen bleiben und nur die vorgesehenen Aktionen ausführen. Die Bewertung erfolgt anhand kuratierter Referenzdatensätze - sogenannter Golden Datasets -, die typische Anliegen, verschiedene Nutzergruppen und Grenzfälle abdecken.

Die Testgrundlage muss regelmäßig aktualisiert werden, da sich Modelle, Prompts, Tools und Nutzerverhalten laufend verändern. Bei der Bewertung kommen unterschiedliche Verfahren zum Einsatz: Code-basierte Prüfer für deterministische Tests, modellbasierte Prüfer ("LLM-as-a-Judge") für offene Antworten und menschliche Prüfer für fachlich oder sicherheitskritische Fälle. Die Kombination dieser Ansätze gilt als sinnvoll, da automatisierte Verfahren nicht alle Fehler erkennen und menschliche Prüfer unverzichtbar bleiben, wenn es um komplexe oder sicherheitsrelevante Entscheidungen geht.

Grenzen der Selbstbewertung und Einstieg in AI Evals

Die Bewertung durch Entwicklungsteams allein reicht nicht aus. Wer ein System entwickelt, neigt dazu, bestimmte Annahmen nicht mehr zu hinterfragen. Eine unabhängige Perspektive ist besonders bei komplexen oder regulierten Anwendungen notwendig, um blinde Flecken zu vermeiden. Unternehmen müssen dokumentieren, welche Szenarien geprüft wurden, nach welchen Kriterien bewertet wurde und wie mit Fehlern umgegangen wird.

Für Unternehmen ohne etablierten AI-Evals-Prozess empfiehlt sich ein risikobasierter Einstieg. Zunächst sollten Aufgabe, Entscheidungsbefugnisse und Ausschlusskriterien des Agenten klar definiert werden. Anschließend kann ein überschaubares Golden Dataset mit realistischen Standard- und Grenzfällen aufgebaut werden. Die Bewertung erfolgt zunächst teilweise manuell und kann später durch modellbasierte Verfahren skaliert werden. Entscheidend ist, AI Evals als kontinuierlichen Prozess zu verstehen, der bei jeder relevanten Änderung am System wiederholt werden muss.

Praktische Folgen und offene Fragen für Unternehmen

Die jüngsten Vorfälle zeigen, dass agentische KI-Systeme nicht nur technische, sondern auch organisatorische und regulatorische Herausforderungen mit sich bringen. Unternehmen müssen ihre Bewertungsprozesse anpassen, um Risiken wie unautorisierte Aktionen, Datenlecks oder Regelverstöße frühzeitig zu erkennen. Die Integration von AI Evals in den Entwicklungs- und Betriebsprozess wird damit zur Voraussetzung für den sicheren und nachvollziehbaren Einsatz agentischer Systeme.

Wie ein früherer Bericht zeigt, entstehen neue Chancen und Risiken, wenn KI-Assistenten operative Aktionen in Unternehmenssoftware ausführen dürfen. Die Frage, wie Unternehmen die Kontrolle behalten und regulatorische Vorgaben einhalten, bleibt dabei zentral. Noch fehlen branchenweite Standards für die Bewertung agentischer Systeme. Offen ist auch, wie sich die Anforderungen an Compliance und Nachvollziehbarkeit weiterentwickeln, wenn KI-Agenten zunehmend eigenständig agieren.

Die Entwicklung agentischer KI-Systeme zwingt Unternehmen, ihre Bewertungs- und Kontrollmechanismen grundlegend zu überdenken. Wer weiterhin auf klassische Benchmarks und interne Tests setzt, riskiert, kritische Schwachstellen zu übersehen. Erst ein strukturierter, unabhängiger und kontinuierlicher Bewertungsprozess schafft die Grundlage für einen verantwortungsvollen Einsatz - und wird damit zum entscheidenden Wettbewerbsfaktor im Zeitalter agentischer KI.

Agentische KI-Systeme sind Programme, die nicht nur auf Anfragen reagieren, sondern eigenständig Entscheidungen treffen und Aktionen ausführen können. Im Unterschied zu klassischen Sprachmodellen, die lediglich Texte generieren, interagieren agentische Systeme aktiv mit externen Tools, Datenbanken oder Softwareanwendungen. Sie können Prozesse automatisieren, Aufgaben delegieren und komplexe Abläufe steuern. Die Bewertung solcher Systeme erfordert neue Methoden, da nicht nur die Qualität einzelner Antworten, sondern das gesamte Systemverhalten unter realistischen Bedingungen geprüft werden muss.Schlagwörter: Agentische KI, KI-Sicherheit, Modellbewertung