Google actualizó su Documentación central de búsqueda para verificar Googlebot, agregando documentación sobre visitas de bots activadas por usuarios, información que faltaba en la documentación anterior de Googlebot, lo que ha creado confusión durante muchos años, con algunos editores bloqueando los rangos de IP de las visitas legítimas.
Documentación de bots recientemente actualizada
Google agregó una nueva documentación que clasifica los tres tipos diferentes de bots que los editores deben esperar.
Estas son las tres categorías de Google Bots:
- Googlebot: rastreador de búsqueda
- Orugas para casos especiales
- Buscadores activados por el usuario (GoogleUserContent)
El último, GoogleUserContent, es uno que ha confundido a los editores durante mucho tiempo porque Google no tenía ninguna documentación al respecto.
Esto es lo que dice Google sobre GoogleUserContent:
“Buscadores activados por el usuario
Herramientas y funciones de productos en las que el usuario final activa una búsqueda.
Por ejemplo, Google Site Verifier actúa sobre la solicitud de un usuario.
Debido a que la búsqueda fue solicitada por un usuario, estos buscadores ignoran las reglas de robots.txt”.
La documentación establece que la máscara DNS inversa mostrará el siguiente dominio:
“***-***-***-***.gae.googleusercontent.com”
En el pasado, algunos miembros de la comunidad de SEO me dijeron que la actividad del bot de las direcciones IP asociadas con GoogleUserContent.com se activaba cuando un usuario visitaba un sitio web a través de una función de traducción que solía estar en los resultados de búsqueda, una característica que ya no existe en las SERP de Google.
No sé si eso es cierto o no. Bastaba saber que se trataba de una visita de Google, provocada por los usuarios.
La nueva documentación de Google explica que la herramienta Google Site Verifier puede activar la actividad de los bots de las direcciones IP asociadas con GoogleUserContent.com.
Pero Google no dice qué más podría activar un bot desde las direcciones IP de GoogleUserContent.com.
El otro cambio en la documentación es una referencia a googleusercontent.com en el contexto de las direcciones IP que se asignan al nombre de dominio, GoogleUserContent.com.
Este es el nuevo texto:
«Verifique que el nombre de dominio sea googlebot.com, google.com o googleusercontent.com».
Otra nueva adición es el siguiente texto que se amplió de la página anterior:
«Alternativamente, puede identificar Googlebot por dirección IP haciendo coincidir la dirección IP del rastreador con las listas de rangos de IP de buscadores y rastreadores de Google:
Robot de Google
Rastreadores especiales como AdsBot
Obtenciones desencadenadas por el usuario”
Documentación de identificación de Google Bot
La nueva documentación finalmente tiene algo sobre los bots que usan direcciones IP asociadas con GoogleUserContent.
Los especialistas en marketing de búsqueda estaban confundidos por esas direcciones IP y asumieron que esos bots eran spam.
Una discusión de la Ayuda de Google Search Console de 2020 muestra cuán confundidas estaban las personas acerca de la actividad asociada con GoogleUserContent.
Muchos en esa discusión concluyeron correctamente que no era Googlebot, pero luego concluyeron erróneamente que era un bot falso que pretendía ser Google.
Un usuario publicó:
“El comportamiento que veo proveniente de estas direcciones es muy parecido (si no idéntico) al comportamiento legítimo de Googlebot, y afecta a varios sitios nuestros.
…Si no es así, esto parece indicar que hay una actividad generalizada de bots maliciosos por parte de alguien que se esfuerza por parecerse a Google en nuestros sitios, lo cual es preocupante”.
Después de varias respuestas, la persona que inició la discusión concluye que la actividad de GoogleUserContent era spam.
Ellos escribieron:
“…Los Googlebots en cuestión imitan a los User-Agents oficiales, pero tal como está la evidencia parece indicar que son falsos.
Los bloquearé por ahora”.
Ahora sabemos que la actividad de los bots de las IP asociadas con GoogleUserContent no son spam ni bots de piratas informáticos.
Realmente son de Google. Los editores que actualmente están bloqueando las direcciones IP asociadas con GoogleUserContent probablemente deberían desbloquearlas.
La lista actual de direcciones IP de captadores activados por el usuario está disponible aquí.
Lea la documentación actualizada de Google:
Verificación de Googlebot y otros rastreadores de Google
Imagen destacada de Shutterstock/Asier Romero
