Cloudflare anunció que eliminaron el rastreador de Perplexity como un bot verificado y ahora están bloqueando activamente la perplejidad y todos sus bots sigilosos de los sitios web que se arrastran. Cloudflare actuó en respuesta a múltiples quejas de los usuarios contra la perplejidad relacionadas con las violaciones de los robots.
Programa de bots verificados de Cloudflare
Cloudflare tiene un sistema llamado bots verificados que los bots blancos en su sistema, lo que les permite rastrear los sitios web que están protegidos por CloudFlare. Los bots verificados deben ajustarse a políticas específicas, como obedecer los protocolos de robots.
Se descubrió que la perplejidad estaba violando los requisitos de Cloudflare que los bots cumplen con los robots.
Cloudflare acusa a la perplejidad del uso de rastreo de sigilo
Cloudflare observó varias actividades indicativas de rastreo altamente agresivo, con la intención de eludir los robots. Protocolo TXT.
Comportamiento de rastreo de sigilo: direcciones IP giratorias
La perplejidad evita bloques mediante el uso de direcciones IP giratorias, cambiando ASNS y navegadores de suplantación como Chrome.
La perplejidad tiene una lista de direcciones IP oficiales que se arrastran desde un ASN específico (número de sistema autónomo). Estas direcciones IP ayudan a identificar rastreadores legítimos por la perplejidad.
Un ASN es parte del sistema de redes de Internet que proporciona un número de identificación único para un grupo de direcciones IP. Por ejemplo, los usuarios que acceden a Internet a través de un ISP lo hacen con una dirección IP específica que pertenece a un ASN asignado a ese ISP.
Cuando se bloquea, la perplejidad intentó evadir la restricción cambiando a diferentes direcciones IP que no figuran como IP de perplejidad oficial, incluidas las completamente diferentes que pertenecían a un ASN diferente.
Comportamiento de rastreo de sigilo: agente de usuario falsificado
El otro comportamiento furtivo que identificó Cloudflare fue que la perplejidad cambió su agente de usuarios para eludir los intentos de bloquear su rastreador a través de robots.txt.
Por ejemplo, los bots de Perplexity se identifican con los siguientes agentes de usuario:
- Perplejidad
- Usuario de perplejidad
Cloudflare observó que la perplejidad respondió a los bloques de agentes de usuario utilizando un agente de usuario diferente que se hizo pasar por una persona que se arrastraba con Chrome 124 en un sistema Mac. Esa es una práctica llamada suplantación, donde un rastreador deshonesto se identifica como un navegador legítimo.
Según CloudFlare, Perplexity utilizó el siguiente agente de usuario sigiloso:
«Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebkit/537.36 (khtml, como gecko) Chrome/124.0.0.0 Safari/537.36»
Cloudflare Delists Perplexity
Cloudflare anunció que la perplejidad se elimina como un bot verificado y que serán bloqueados:
«Internet, como lo hemos conocido durante las últimas tres décadas, está cambiando rápidamente, pero una cosa permanece constante: se basa en la confianza. Hay preferencias claras de que los rastreadores deben ser transparentes, cumplir un propósito claro, realizar una actividad específica y, lo más importante, seguir las directivas del sitio web y las preferencias. Basado en el comportamiento de PerpleyS observado, lo que es incompatible con esas preferencias, hemos hecho que las regulaciones de las reglas de perplejidad les hemos regido a los que lo hemos regido como un BOT, y agregamos que las regulaciones de Perpley, lo hemos regido. Este sigilo se arrastra «.
Comida para llevar
- Violación de la política de bots verificada de Cloudflare
La perplejidad violó la política de bots verificada de Cloudflare, que otorga acceso a los bots de confianza que siguen reglas de sentido común como honrar el protocolo de robots.txt. - La perplejidad utilizó tácticas de rastreo de sigilo
La perplejidad utilizó direcciones IP no declaradas de diferentes ASN y agentes de usuarios falsificados para rastrear contenido después de ser bloqueado para acceder a él. - Searting de agente de usuarios
La perplejidad disfrazó su bot como un usuario humano haciéndose pasar por Chrome en un sistema operativo Mac en intentos de evitar filtros que bloquean los rastreadores conocidos. - Respuesta de Cloudflare
Cloudflare eliminó la perplejidad como un bot verificado e implementó nuevas reglas de bloqueo para evitar el rastreo sigiloso. - Implicaciones de SEO
Los usuarios de Cloudflare que desean la perplejidad para rastrear sus sitios pueden desear verificar si Cloudflare está bloqueando los rastreadores de perplejidad y, de ser así, permitir que se arrastre a través de su tablero Cloudflare.
Cloudflare eliminó la perplejidad como un bot verificado después de descubrir que violaba repetidamente las políticas de bots verificadas desobedeciendo los robots.txt. Para evadir la detección, la perplejidad también rotó IPS, cambió ASNS y falsificó a su agente de usuarios para que apareciera como un navegador humano. La decisión de Cloudflare de bloquear el bot es una fuerte respuesta al comportamiento agresivo de BOT por parte de la perplejidad.
