Cloudflare está probando una nueva forma para que los sitios web carguen a las compañías de IA que usan su contenido para entrenar modelos, ejecutar inferencia o búsqueda de energía. La nueva característica, llamada Pago por rastreopermite que los propietarios del sitio web establezcan sus propios términos sobre cómo y cuándo los bots de IA pueden acceder a sus sitios.
Por defecto, Cloudflare ahora impide que los rastreadores de IA accedan a sitios web sin permiso. Los propietarios del sitio pueden elegir si permitir bots y decidir si el acceso debe ser gratuito o pagado. Las empresas de IA, a su vez, deben revelar si sus rastreadores se están utilizando para capacitación, inferencia o búsqueda, dando a los editores más contexto para tomar decisiones.
La idea es ayudar a los editores a recuperar cierto control sobre cómo se usa su contenido en la economía de IA. Muchos sitios web están siendo raspados por modelos de IA sin compensación, incluso cuando esos mismos modelos alejan el tráfico de los motores de búsqueda tradicionales.
Durante el año pasado, Cloudflare ha implementado herramientas para bloquear o monitorear los rastreadores de IA. Eso incluye una configuración de un solo clic para detener completamente los bots de AI y un tablero que muestra quién está raspando qué. El pago por rastreo se basa en ese trabajo y pone un precio al acceso, incluso si son solo unos pocos centavos por visita.
En la versión beta privada, los editores pueden optar por permitir rastreadores individuales, bloquearlos o establecer tarifas para cada rastreo. Cloudflare sirve como el intermediario, manejando los pagos y el reenvío de los ingresos a los propietarios de sitios web. Tanto el editor como la compañía de IA necesitan cuentas de Cloudflare para participar.
La compañía dice que el sistema podría ser útil en un futuro donde los agentes de IA, no las personas, visitan sitios web, recopilan datos y entregan resúmenes o respuestas directamente a los usuarios. En ese escenario, los usuarios pueden dar a sus agentes de IA un presupuesto para extraer contenido de alta calidad de fuentes confiables. Cloudflare cree que un sistema como el pago por rastreo podría soportar ese tipo de uso.
Hay una creciente tensión en torno a cómo las empresas de IA usan contenido en línea. Algunos editores grandes como The New York Times Han demandado a las empresas tecnológicas por raspar artículos sin permiso. Otros han firmado acuerdos de licencia para suministrar datos de capacitación y dejar que su contenido aparezca en las respuestas de chatbot. Pero esos acuerdos se limitan a los principales jugadores, y no está claro cuántos ingresos realmente generan.
Los editores más pequeños no han tenido muchas opciones. El pago por rastreo podría darles la oportunidad de cobrar por su contenido directamente, en lugar de depender de intermediarios o esperar el tráfico de referencias.
Pero convencer a las empresas de IA para pagar no será fácil. Muchos de ellos ya están raspando contenido sin permiso. Y la economía puede no funcionar a favor de los editores, al menos aún no.
Cloudflare compartió nuevos números que muestran cómo rara vez los editores recuperan el tráfico de los bots de IA. Según la compañía, el rastreador de Google raspó los sitios 14 veces por cada clic que envió de vuelta. El rastreador de OpenAi raspó sitios 1,700 veces por derivación, y los sitios raspados antrópicos 73,000 veces por derivación. Para los editores que dependen del tráfico para apoyar los ingresos publicitarios, eso es un mal negocio.
Durante años, los editores han permitido que los motores de búsqueda como Google rastreen sus sitios de forma gratuita a cambio de visibilidad y clics. Ese modelo está comenzando a descomponerse a medida que las herramientas de IA reemplazan la búsqueda, extrayendo respuestas directamente del contenido rastreo sin enviar a los usuarios a la fuente original.
El valor predeterminado de Cloudflare para los nuevos sitios web ahora es bloquear los rastreadores de IA. Los propietarios del sitio tendrán que permitir manualmente bots específicos. La compañía llama a esto un «incumplimiento de control».
Una larga lista de organizaciones de medios y contenido ha expresado su apoyo a protecciones más fuertes sobre cómo se usa su trabajo, incluidos BuzzFeed, Time, Reddit, Condé Nast y Stack Overflow.
Si el modelo de Cloudflare funcionará a escala aún es incierto. Depende de que los editores establezcan precios que tengan sentido y de que las compañías de IA estén dispuestas a pagar. El CEO de Cloudflare, Matthew Prince, también dijo que la compañía está explorando el uso de stablecoins para apoyar estas transacciones, ya sea creando su propia o asociación con otros proveedores.
Es probable que los agentes de IA desempeñen un papel más importante en la forma en que los usuarios acceden a la información en línea. Si ese es el caso, el sistema de Cloudflare podría ser una prueba temprana de si es posible o práctico, cobrar por el contenido que los alimenta.
(Foto por John)
Ver también: Zuckerberg apuesta grande por IA con estaca de $ 14B y búsqueda de talentos
