¿Utiliza una CDN para parte o la totalidad de su sitio web y desea administrar solo un archivo robots.txt, en lugar del archivo robots.txt de la CDN y el archivo robots.txt de su sitio principal? Gary Illyes de Google dijo que todo lo que necesita hacer es redirigir su archivo robots.txt principal a la CDN y controlarlo en la CDN.
Gary escribió en LinkedIn:
Tienes una CDN y tienes tu sitio principal. Tiene dos archivos robots.txt, uno en https∶//cdn․example․com/robots.txt y otro en https∶//www․example․com/robots.txt. Podría tener solo un archivo robots.txt central con todas las reglas, por ejemplo en su CDN, lo que podría ayudarlo a realizar un seguimiento de todas las reglas que necesita administrar. Todo lo que tiene que hacer es redirigir https∶//www․example․com/robots.txt a https∶//cdn․example․com/robots.txt y los rastreadores que cumplen con RFC9309 simplemente usarán el objetivo de redireccionamiento como robotstxt. archivo de https∶//www․example․com/. Raro o qué.
Ahora bien, este no es un consejo de clasificación SEO. Es solo una forma de mantener todo en un archivo robots.txt y no tener que administrar varios. Esto no te ayudará a clasificar mejor ni nada por el estilo.
Ahora estoy esperando ver anuncios de servicios de SEO para mover su archivo robots.txt a una CDN. Nuevamente, esto no le brinda ningún beneficio de SEO ni de clasificación, esto es solo para que le resulte más fácil cuando desee mantener un archivo. Por supuesto, si alguna vez abandona esa CDN, entonces tendrá que lidiar con eso, pero no es muy diferente a mudarse a un nuevo host.
Foro de discusión en LinkedIn.
