Unternehmen stehen beim Einsatz von KI-Agenten unter Kostendruck. Neue Architekturansätze wie Knowledge Layer und Context Graph sollen Token-Verbrauch und Ausgaben senken. Welche Folgen das für den KI-Betrieb hat, bleibt offen
Der zunehmende Einsatz von KI-Agenten in Unternehmen führt zu steigenden Kosten, insbesondere durch den hohen Verbrauch von Tokens bei der Nutzung großer Sprachmodelle. Laut einer aktuellen Umfrage von McKinsey überschreiten 93 Prozent der befragten Unternehmen ihre ursprünglich geplanten KI-Budgets, fast die Hälfte davon um bis zu 30 Prozent. Viele Unternehmen sehen sich daher gezwungen, strikte Obergrenzen und monatliche Kontingente für den Token-Verbrauch einzuführen, um die Kosten kontrollierbar zu halten.
Architektur als Schlüssel zur Effizienz
Die reine Begrenzung der Tokenzahl reicht nach Einschätzung von Fachleuten nicht aus, um die Effizienz von KI-Agenten nachhaltig zu steigern. Entscheidend ist vielmehr die zugrunde liegende Architektur. Wenn Agenten auf unstrukturierte Datensilos zugreifen, irrelevante Informationen verarbeiten oder Arbeitsschritte wiederholen, steigt der Ressourcenbedarf unnötig. Konzepte wie AI-FinOps, eingebettete Governance und klare Verantwortlichkeiten schaffen zwar Transparenz, doch erst eine strukturierte Wissensbasis ermöglicht es, den relevanten Kontext gezielt bereitzustellen und so den Token-Verbrauch zu senken.
Ein zentrales Element ist die sogenannte Knowledge Layer. Sie verbindet eine Ontologie als dynamische Wissenslandkarte mit den Unternehmensdaten und einem Agentengedächtnis. So können Agenten auf klar definierte Begriffe, Zuständigkeiten und Zusammenhänge zugreifen. Das organisatorische Wissen wird dadurch für KI-Systeme abfragbar und wiederverwendbar gemacht.
Context Graph und Agentengedächtnis
Agentische KI-Systeme sind darauf ausgelegt, Aufgaben in mehreren Schritten weitgehend autonom zu bearbeiten. Ein Context Graph, meist als Knowledge Graph umgesetzt, verknüpft die Wissensbasis mit früheren Entscheidungen, Begründungen und Ergebnissen. Dadurch kann ein Agent nicht nur den aktuellen Stand, sondern auch die Entstehung eines bestimmten Kontextes nachvollziehen und gezielt den nächsten Schritt planen. Für einzelne Arbeitsschritte wird jeweils nur der relevante Ausschnitt des Graphen geladen, was die Datenmenge im Kontextfenster begrenzt und die Zahl der Suchvorgänge reduziert.
Ein weiteres zentrales Element ist das Agentengedächtnis. Da große Sprachmodelle wie LLMs kein dauerhaftes Gedächtnis besitzen, speichern spezialisierte Komponenten den aktuellen Arbeitskontext, Ziele und bereits erledigte Aufgaben. Dieses Gedächtnis wird außerhalb des Modells in einer persistenten Datenbankschicht abgelegt. Bei längeren Workflows können Agenten nach Unterbrechungen am letzten bestätigten Stand weiterarbeiten, ohne von vorn zu beginnen.
Thin Agents und zentrale Wissenspflege
Auf Basis dieser Architektur entstehen sogenannte Thin Agents. Sie greifen bei Bedarf gezielt auf Unternehmenswissen, Geschäftsregeln und Entscheidungskontexte zu, statt alle Informationen ständig mitzuführen. Die Ontologie bildet die Wissenslandkarte, der Context Graph übernimmt die Navigation bei Entscheidungen und das Agentengedächtnis dokumentiert den Verlauf. Dadurch werden Systemprompts kürzer, doppelte Logik vermieden und der Pflegeaufwand reduziert. Wissen und Regeln werden zentral gepflegt, was Redundanzen verringert und unterschiedliche Wissensstände einzelner Agenten verhindert.
Eine Studie des National Innovation Centre for Data (NICD) zeigt, dass graphbasierte Ansätze bei komplexen Fragestellungen zu mehr faktisch korrekten Antworten und weniger Halluzinationen führen. Der sogenannte Truthfulness-Score lag rund 80 Prozent höher als bei rein vektorbasierten Retrieval-Augmented-Generation-Systemen. Auch der Anteil beantworteter Fragen stieg deutlich. Diese Ergebnisse deuten darauf hin, dass eine gezielte Wissensverknüpfung nicht nur Kosten senkt, sondern auch die Qualität der KI-Antworten verbessert.
Wirtschaftliche und regulatorische Implikationen
Die beschriebenen Architekturstrategien gewinnen vor dem Hintergrund steigender KI-Kosten und wachsender regulatorischer Anforderungen an Nachvollziehbarkeit und Auditierbarkeit an Bedeutung. Unternehmen, die ihre Wissensbasis formalisiert und zentral verfügbar machen, können nicht nur effizienter arbeiten, sondern auch Compliance-Anforderungen wie den EU AI Act besser erfüllen. Die Möglichkeit, Entscheidungswege und genutzte Daten im Kontextgraphen zu dokumentieren, erleichtert Audits und schafft Transparenz im KI-Betrieb.
Die Entwicklung hin zu effizienteren KI-Agenten ist Teil eines breiteren Trends, der auch in anderen Bereichen der KI-Anwendung sichtbar wird. So hat etwa Anthropic für Claude Cowork eine Funktion zur Aufzeichnung von Arbeitsabläufen angekündigt, um die Nachvollziehbarkeit und Effizienz im Unternehmenskontext zu erhöhen. Weitere Details dazu finden sich in der Analyse zu den technischen und wirtschaftlichen Folgen unter diesem Beitrag.
Offen bleibt, wie schnell und umfassend Unternehmen in Deutschland und Europa diese Architekturansätze umsetzen werden. Die technische Komplexität, der Aufwand für die Formalisierung von Unternehmenswissen und die Integration in bestehende Systeme stellen weiterhin Herausforderungen dar. Dennoch deuten die vorliegenden Studien darauf hin, dass sich Investitionen in eine strukturierte Wissensbasis und effiziente Agentenarchitektur langfristig auszahlen können.
Der Begriff "Knowledge Layer" bezeichnet eine strukturierte, zentrale Wissensschicht, die Ontologie, Unternehmensdaten und Agentengedächtnis miteinander verbindet. Sie bildet die Grundlage für den gezielten Zugriff von KI-Agenten auf relevantes Wissen und Kontext. Im Unterschied zu klassischen Datenbanken werden hier nicht nur Rohdaten, sondern auch deren Bedeutung, Beziehungen und Entscheidungswege abgebildet. Die Knowledge Layer ist damit ein zentrales Element moderner KI-Architekturen, das sowohl Effizienz als auch Nachvollziehbarkeit im KI-Betrieb unterstützt.
