La nueva iniciativa de «Pay por Crawl» de Cloudflare ha provocado un debate entre los profesionales de SEO y los especialistas en marketing digital.
La compañía ha introducido un sistema de bloqueo de rastreadores de IA predeterminado junto con nuevas opciones de monetización para los editores.
Esto permite a los editores cobrar a las compañías de IA por el acceso, lo que podría afectar la forma en que el contenido web se consume y valora en la era de la búsqueda generativa.
El nuevo valor predeterminado de Cloudflare: Bloque de AI Crawlers
El sistema, ahora en beta privada, bloquea los rastreadores de IA conocidos de forma predeterminada para los nuevos dominios de CloudFlare.
Los editores pueden elegir una de las tres configuraciones de acceso para cada rastreador:
- Permitir – Grant Acceso sin restricciones
- Cargar -Requerir el pago al precio configurado de todo el dominio
- Bloquear – Denegar el acceso por completo
Los rastreadores que intentan acceder al contenido bloqueado recibirán un 402 Payment Required respuesta. Los editores establecen un precio plano de todo el sitio por solicitud, y Cloudflare maneja la facturación y la distribución de ingresos.
Cloudflare escribió:
“Imagine pedirle a su programa de investigación profunda favorita para que lo ayude a sintetizar la última investigación del cáncer o un informe legal, o simplemente ayudarlo a encontrar el mejor restaurante en Soho, y luego darle a ese agente un presupuesto para gastar para adquirir el mejor y más relevante contenido.
Detalles técnicos y adopción del editor
El sistema se integra directamente con las herramientas de gestión de botes de CloudFlare y funciona junto con las reglas WAF existentes y robots.txt archivos. La autenticación se maneja utilizando pares de claves ED25519 y firmas de mensajes HTTP para evitar la suplantación de suplantación.
Cloudflare dice que los primeros usuarios incluyen editores importantes como Condé Nast, Time, The Atlantic, AP, BuzzFeed, Reddit, Pinterest, Quora y otros.
Si bien la configuración actual admite solo precios planos, la compañía planea explorar modelos de precios dinámicos y granulares en iteraciones futuras.
SEO Community comparte preocupaciones
Si bien los nuevos controles de Cloudflare se pueden cambiar manualmente, varios expertos en SEO están preocupados por el impacto de hacer que el sistema opte por no participar en lugar de optar.
«Esto no terminará bien», escribió Duane Forrester, Vicepresidente de Insights de la Industria en Yext, advirtiendo que las empresas pueden tener dificultades para aparecer en respuestas a la IA sin darse cuenta de que el acceso de los rastreadores se está bloqueando a menos que se pague una tarifa.
Lily Ray, vicepresidenta de estrategia e investigación de SEO en Amsive Digital, señaló que es probable que el cambio genere conversaciones urgentes con los clientes, especialmente aquellos que no saben que sus sitios ahora podrían ser invisibles para los rastreadores de IA por defecto.
Ryan Jones, vicepresidente senior de SEO en Razorfish, expresó que la mayoría de sus sitios de clientes en realidad quieren que los rastreadores de IA accedan a su contenido por razones de visibilidad.
Algunos dicen que es un reinicio necesario
Algunos en la comunidad dan la bienvenida a la medida como un reequilibrio de la economía de contenido desde hace mucho tiempo.
«Se necesita una fuerza para inclinar el equilibrio de regreso a donde alguna vez estaba», dijo Pedro Dias, consultor técnico de SEO y ex miembro del equipo de calidad de búsqueda de Google. Sugiere que la dinámica actual favorece a las compañías de IA a expensas de los editores.
Ilya Grigorik, ingeniera distinguida y asesora técnica de Shopify, elogió el uso de la autenticación criptográfica, diciendo que es «muy necesario» dado lo difícil que es distinguir entre bots legítimos y maliciosos.
Bajo el nuevo sistema, los rastreadores deben autenticarse utilizando la criptografía de clave pública y declarar la intención de pago a través de encabezados HTTP personalizados.
Administración de acceso de rastreadores: lo que puede hacer
A medida que entran en vigencia la nueva configuración predeterminada de Cloudflare, existe una preocupación por la pérdida de visibilidad en las herramientas de búsqueda de IA. Pero tienes opciones para recuperar el control.
El tráfico de IA puede disminuir bruscamente si su dominio bloquea los bots de IA sin que se dé cuenta.
Himanshu Sharma, consultor de análisis digital y fundador de OptimizesMart, advirtió en X:
«Espere una fuerte disminución en el tráfico de IA reportado por GA4 a medida que CloudFlare bloquea casi todos los rastreadores/bots de IA conocidos para raspar el contenido de su sitio web de forma predeterminada».
Sharma aconsejó a los propietarios del sitio que revisen proactivamente su configuración de CloudFlare:
- Navegue a su tablero de nubes
- Ir a la seguridad> bots
- Encuentre la configuración de «Bloque de entrenamiento AI»
- Use el menú desplegable para cambiarlo de la «Bloquear todas las páginas» predeterminadas a «No bloquear (desactivar)» si desea permitir que AI Crawlers
Esta opción le permite decidir si desea mantener la visibilidad en las plataformas impulsadas por la IA o limitar el uso de contenido para capacitación y respuestas.
Mirando hacia el futuro
El sistema de pago por crawl de Cloudflare formaliza una nueva capa de negociación sobre quién puede acceder al contenido web y a qué costo.
Para los profesionales de SEO, esto agrega complejidad: la visibilidad ahora puede depender no solo de la clasificación, sino también de la configuración de acceso a los rastreadores, las políticas de pago y la autenticación de Bot.
Mientras que algunos ven esto como editores empoderadores, otros advierten que podría fragmentar la web abierta, donde el acceso al contenido varía según la infraestructura y los paredes de pago.
Si la IA generativa se convierte en una parte central de cómo buscan las personas, y las tuberías que se alimentan de esa IA ahora son carreteras de peaje, los sitios web deberán gestionar la visibilidad en un creciente mosaico de sistemas, políticas y modelos financieros.
Imagen destacada: Samborskyi romano/Shutterstock
