Cloudflare verschärft seinen Kurs gegen unautorisierte Zugriffe durch AI-Crawler. Künftig werden bekannte Bots, die Inhalte für Trainingszwecke von Webseiten sammeln, standardmäßig blockiert. Neue Kunden werden aktiv gefragt, ob sie solche Zugriffe überhaupt erlauben wollen. Ziel ist es, die Kontrolle über digitale Inhalte zurück in die Hände der Urheber zu legen – und zugleich Monetarisierungsmöglichkeiten zu schaffen.

Mit dem neu eingeführten Modell „Pay Per Crawl“ können ausgewählte Publisher künftig selbst Preise für den Zugriff von AI-Systemen festlegen. AI-Anbieter haben die Möglichkeit, diese Preise einzusehen, sich für eine kostenpflichtige Nutzung zu registrieren oder den Zugriff zu unterlassen. Das Angebot richtet sich zunächst nur an einen exklusiven Kreis führender Medienhäuser und Content-Ersteller.

Cloudflare reagiert damit auf die wachsende Bedeutung von generativen AI-Anwendungen und Large Language Models, die in zunehmendem Maße Inhalte im Netz automatisiert auslesen. Bereits 2023 hatte das Unternehmen erste Blockademöglichkeiten eingeführt, die sich an den freiwilligen Vorgaben von robots.txt orientierten. Später wurde die Funktion ausgeweitet, um sämtliche bekannte AI-Bots unabhängig von deren Compliance zu blockieren. Neu ist, dass diese Sperren nun für alle neuen Domains bei Cloudflare standardmäßig aktiv sind.

Zusätzlich bietet Cloudflare seit März eine technische Barriere namens „AI Labyrinth“, die unerwünschte Crawler bewusst in Endlosschleifen führt, um Scraping-Aktivitäten zu erschweren.

Zu den Unterstützern der neuen Richtlinien zählen große Publisher wie The Associated Press, The Atlantic, Fortune, Stack Overflow und Quora. Sie alle eint die Sorge, dass generative AI-Modelle zunehmend Originalinhalte nutzen, ohne die entsprechenden Rechte einzuholen oder eine Vergütung zu leisten. „Die Menschen vertrauen AI-Systemen inzwischen mehr als Suchmaschinen. Das führt dazu, dass sie weniger Originalquellen lesen“, erklärte Cloudflare-CEO Matthew Prince.

Darüber hinaus arbeitet Cloudflare an einem Verifizierungsmodell für AI-Crawler. Diese sollen künftig transparent angeben, ob Inhalte für Training, Inferenz oder Suche genutzt werden. Website-Betreiber können dann individuell entscheiden, welchen Zugriff sie erlauben. „Original-Content macht das Internet zu einer der größten Erfindungen des letzten Jahrhunderts“, so Prince weiter. „Unser Ziel ist es, die Rechte der Schöpfer zu schützen, ohne Innovation zu bremsen.“