Cloudflare endurece su postura contra los accesos no autorizados por rastreadores de IA. En el futuro, los bots conocidos que recopilan contenido de sitios web para fines de entrenamiento serán bloqueados por defecto. A los nuevos clientes se les preguntará activamente si quieren permitir tales accesos. El objetivo es devolver el control sobre los contenidos digitales a las manos de los creadores y, al mismo tiempo, crear oportunidades de monetización.
Con el nuevo modelo introducido "Pagar por Rastreo", los editores seleccionados podrán en el futuro establecer sus propios precios para el acceso de sistemas de IA. Los proveedores de IA tendrán la opción de revisar estos precios, registrarse para un uso de pago o abstenerse de acceder. La oferta está dirigida inicialmente a un círculo exclusivo de principales medios de comunicación y creadores de contenido.
Cloudflare está respondiendo así a la creciente importancia de las aplicaciones de IA generativa y los modelos de lenguaje grande que, cada vez más, extraen contenido de la web de forma automatizada. Ya en 2023, la empresa había introducido las primeras opciones de bloqueo, que se orientaban según las directrices voluntarias de robots.txt. Posteriormente, la función se amplió para bloquear todos los bots de IA conocidos, independientemente de su cumplimiento. Lo nuevo es que estos bloqueos ahora están activos por defecto para todos los nuevos dominios en Cloudflare.
Zusätzlich bietet Cloudflare seit März eine technische Barriere namens „AI Labyrinth“, die unerwünschte Crawler bewusst in Endlosschleifen führt, um Scraping-Aktivitäten zu erschweren.
Entre los partidarios de las nuevas políticas se encuentran grandes editores como The Associated Press, The Atlantic, Fortune, Stack Overflow y Quora. Todos comparten la preocupación de que los modelos de IA generativa utilicen cada vez más contenido original, sin solicitar los derechos correspondientes o proporcionar una compensación. "Las personas confían ahora más en los sistemas de IA que en los motores de búsqueda. Esto conduce a que lean menos fuentes originales", explicó el CEO de Cloudflare, Matthew Prince.
Además, Cloudflare está trabajando en un modelo de verificación para los rastreadores de IA. En el futuro, estos deberán indicar con transparencia si los contenidos se utilizan para entrenamiento, inferencia o búsqueda. Los operadores de sitios web podrán decidir individualmente qué acceso permiten. "El contenido original convierte a Internet en uno de los mayores inventos del siglo pasado", continuó Prince. "Nuestro objetivo es proteger los derechos de los creadores sin frenar la innovación".
