Existe esta interesante conversación en LinkedIn sobre un archivo robots.txt que sirve un 503 durante dos meses y el resto del sitio está disponible. Gary Illyes de Google dijo que cuando otras páginas del sitio son accesibles y están disponibles, eso hace una gran diferencia, pero cuando esas otras páginas no lo son, entonces «no tienes suerte», escribió.
Tenga en cuenta que especificó que la página de inicio y otras páginas «importantes» debían estar disponibles…
El hilo fue publicado por Carlos Sánchez Donate en LinkedIn donde preguntó: «¿Qué pasaría si el archivo robots.txt es 503 durante 2 meses y el resto del sitio está disponible?»
Gary Illyes de Google respondió:
No estoy seguro de si necesitamos agregarle más matices; ver la última frase. Un aspecto que generalmente se omite es si nuestros rastreadores pueden llegar de manera consistente a la página de inicio (¿o a algunas otras páginas importantes? No lo recuerdo) mientras el archivo robotstxt es inaccesible. Si es así, entonces el sitio podría estar en un estado aceptable, aunque en el limbo, pero aún así funciona. Si también recibimos errores en la página importante, no tendrás suerte. Con los errores http de robotstxt, lo único que desea es centrarse en corregir la accesibilidad lo antes posible.
La pregunta era si es necesario haber más aclaraciones sobre el manejo del error robots.txt 5xx en la documentación o no.
Este es un hilo súper interesante, por lo que te recomiendo que leas este material si te interesa. Por supuesto, la mayoría de ustedes diría, simplemente corrijan los errores 5xx y no se preocupen por esto. Pero a muchos SEO les encanta preguntarse sobre situaciones hipotéticas.
Aquí hay una captura de pantalla de esta conversación, pero nuevamente, hay mucho más allí, así que échale un vistazo:
Foro de discusión en LinkedIn.
