Mit der neuen Accountable-Kennzeichnung gibt Cloudflare Website-Betreibern erstmals die Möglichkeit, das KI-Training ihrer Inhalte gezielt zu steuern - ohne auf Sichtbarkeit in Suchmaschinen zu verzichten.
Cloudflare bringt mit der Accountable-Kennzeichnung für KI-Crawler neue Regeln für den Zugriff auf Webinhalte. Website-Betreiber können nun erstmals gezielt verhindern, dass ihre Inhalte für das Training von KI-Modellen genutzt werden, ohne dabei aus Suchmaschinen zu verschwinden. Damit verschiebt sich das Verhältnis zwischen Plattformen, KI-Unternehmen und den Urhebern digitaler Inhalte.
Mehr Kontrolle für Website-Betreiber
Mit der Funktion Disallow AI Training können Betreiber festlegen, dass ihre Inhalte nicht für KI-Training verwendet werden dürfen. Im Unterschied zu bisherigen Lösungen bleibt die Indexierung für klassische Suchmaschinen erhalten, wenn dies gewünscht ist. Die neuen Steuerungsoptionen erlauben es, gezielt zwischen Suchmaschinen, KI-Training und KI-Agenten zu unterscheiden. Für Werbeseiten empfiehlt Cloudflare, das KI-Training und KI-Agenten zu blockieren, während die Suchindexierung aktiv bleibt. Bei anderen Seiten können alle drei Nutzungsarten freigegeben werden.
Bisher beruhte die Zusammenarbeit zwischen Crawler-Betreibern und Website-Anbietern auf dem Austausch von Sichtbarkeit gegen Traffic. Mit KI-Modellen, die Inhalte nicht nur indexieren, sondern auch für Trainingszwecke nutzen, hat sich dieses Gleichgewicht verschoben. Laut Cloudflare machen Crawler mit gemischter Nutzung inzwischen 36,6 Prozent des verifizierten Crawler-Traffics im eigenen Netzwerk aus. Die meisten Betreiber wollen weiterhin gefunden werden: Weniger als ein Prozent blockiert Suchmaschinen, aber 17 Prozent schränken das KI-Training ein. Die neuen Einstellungen ersetzen die bisherige Block AI Bots-Funktion durch drei unabhängige Kontrollen.
Cloudflare will mit den neuen Kontrollen Mechanismen wie robots.txt weiterentwickeln und an die Anforderungen der KI-Ära anpassen. Die Trennung von Such-, Trainings- und Agenten-Crawlern soll laut Unternehmen mehr Transparenz und Kontrolle ermöglichen. Die Bundesnetzagentur betont in ihren Leitlinien zur Netz- und Informationssicherheit, dass technische Standards und Interoperabilität zentrale Voraussetzungen für digitale Souveränität in Deutschland und der EU sind. Weitere Informationen finden sich in den offiziellen Empfehlungen der Bundesnetzagentur.
Cloudflare hat die bisherigen Blockierungsmechanismen für KI-Bots durch drei separate Steuerungen ersetzt, sodass Website-Betreiber gezielt zwischen Suchmaschinen, KI-Training und Agenten unterscheiden können, ohne die Sichtbarkeit in klassischen Suchindizes zu verlieren.
Cloudflare, Produktkommunikation
Kriterien für Accountable-Kennzeichnung und Auswirkungen auf große Anbieter
Cloudflare hat vier Anforderungen für die Accountable-Kennzeichnung definiert: Erstens muss eine klare Opt-out-Möglichkeit für das KI-Training über robots.txt oder einen vergleichbaren Standard bestehen. Zweitens sollen Website-Betreiber das Recht haben, KI-generierte Suchzusammenfassungen abzulehnen. Drittens ist Transparenz auf URL-Ebene über die Nutzung der Inhalte für Suche und Training gefordert. Viertens muss öffentlich bestätigt werden, dass ein Opt-out beim Training das Suchranking nicht beeinflusst.
Apple, Google und Microsoft erfüllen diese Kriterien laut Cloudflare bereits oder haben Fristen zur Umsetzung genannt. Google bietet mit Google-Extended eine Option, das KI-Training unabhängig von der Suchindexierung zu deaktivieren. Andere KI-Unternehmen setzen auf getrennte Crawler für Suche und Training, sodass gezielte Blockaden möglich sind, ohne die Sichtbarkeit in Suchmaschinen zu verlieren. Die vollständige Liste der als Accountable eingestuften Betreiber ist auf Cloudflare Radar einsehbar. Training-only Crawler von Amazon, Anthropic, Meta und OpenAI werden künftig standardmäßig blockiert, ohne die Suchmaschinenindexierung zu beeinträchtigen.
Technische Umsetzung und offene Fragen
Mit Bot Preference Sync ersetzt Cloudflare die bisherige Managed Robots.txt. Betreiber können ihre Präferenzen einmalig festlegen, die dann automatisch auf alle unterstützten Crawler angewendet werden. Die Einstellungen lassen sich jederzeit anpassen. Künftig will Cloudflare eine zentrale Steuerung ermöglichen, wie viel der Inhalte für KI-Zusammenfassungen genutzt werden dürfen. Aktuell ist dies nur als Ja-oder-Nein-Entscheidung pro Betreiber möglich.
Die Entwicklung findet vor dem Hintergrund wachsender Investitionen in Cloud-Infrastruktur und KI-Technologien statt, wie auch frühere Analysen zeigen. Cloudflare arbeitet zudem an offenen Standards wie ai-prefs im Rahmen der Internet Engineering Task Force (IETF), um langfristig eine interoperable Steuerung von KI-Zugriffsrechten zu ermöglichen. Die aktuellen Lösungen sind laut Cloudflare bereits mit diesen Standards kompatibel.
Folgen für Unternehmen und digitale Öffentlichkeit
Die neuen Kontrollmöglichkeiten erhöhen den Druck auf KI-Anbieter, transparente und überprüfbare Zugriffsmechanismen einzuführen. Für Unternehmen, die auf Werbeeinnahmen oder exklusive Inhalte setzen, wird die gezielte Steuerung des KI-Zugriffs wichtiger. Offen bleibt, wie konsequent die Einhaltung der Vorgaben durchgesetzt werden kann und ob alle KI-Anbieter sich an die neuen Standards halten. Die technische Umsetzung ist ein Schritt, die Kontrolle über die Nutzung digitaler Inhalte zurückzugewinnen. Die Durchsetzung im globalen Maßstab bleibt jedoch eine Herausforderung.
Mit der Accountable-Kennzeichnung schafft Cloudflare neue Möglichkeiten im Umgang mit KI-Crawlern. Während große Plattformen wie Google, Apple und Microsoft sich auf die neuen Anforderungen einstellen, bleibt abzuwarten, wie kleinere oder weniger transparente Anbieter reagieren. Die Option, KI-Training gezielt zu untersagen, stärkt die digitale Souveränität von Website-Betreibern. Entscheidend wird sein, ob die neuen Standards auch außerhalb des Cloudflare-Ökosystems angenommen werden und wie wirksam sie gegen intransparente oder nicht kooperative KI-Akteure sind. Die Debatte um die Kontrolle über Trainingsdaten und die wirtschaftliche Nutzung digitaler Inhalte dürfte damit weitergehen.
Die robots.txt ist ein technischer Standard, mit dem Website-Betreiber Suchmaschinen und anderen Crawlern Anweisungen geben, welche Bereiche einer Website indexiert oder ausgelassen werden sollen. Ursprünglich für klassische Suchmaschinen entwickelt, wird sie zunehmend auch zur Steuerung von KI-Crawlern genutzt. Die Erweiterung um spezifische Opt-out-Optionen für KI-Training und KI-Zusammenfassungen ist ein Versuch, die Kontrolle über die Nutzung digitaler Inhalte an die aktuellen Anforderungen der KI-Entwicklung anzupassen. Wie wirksam diese Mechanismen sind, hängt davon ab, ob alle relevanten Akteure die Vorgaben respektieren und technisch umsetzen.
