Google ha agregado un nuevo rastreador a su lista de Google Crawlers y agentes de usuario, este se llama GoogleOther. Se describe como un «rastreador genérico que puede ser utilizado por varios equipos de productos para obtener contenido de acceso público de los sitios».
Por ejemplo, puede usarse para rastreos únicos para investigación y desarrollo internos, explicó Google. El rastreador de GoogleOther siempre obedece las reglas de robots.txt para su token de agente de usuario y el agente de usuario global
y utiliza los mismos rangos de IP que Googlebot.
El token del agente de usuario es «GoogleOther» y la cadena completa del agente de usuario es «GoogleOther».
Gary Illyes de Google explicó en LinkedIn que este nuevo rastreador «reemplazará algunos de los otros trabajos de Googlebot, como rastreos de I + D, para liberar algo de capacidad de rastreo para Googlebot».
Gary escribió: «Agregamos un nuevo rastreador, GoogleOther, a nuestra lista de rastreadores que, en última instancia, le quitarán algo de tensión a Googlebot. Este es un cambio sin operaciones para usted, pero creo que es interesante. A medida que optimizamos cómo y qué Googlebot rastrea, una cosa que queríamos asegurarnos de que los trabajos de rastreo de Googlebot solo se usen internamente para construir el índice que usa la Búsqueda. Para esto, agregamos un nuevo rastreador, GoogleOther, que reemplazará algunos de los otros trabajos de Googlebot, como los rastreos de I + D para liberar algo de capacidad de rastreo para Googlebot. El nuevo rastreador utiliza la misma infraestructura que Googlebot y, por lo tanto, tiene las mismas limitaciones y características que Googlebot: limitaciones de carga de host, robotstxt (aunque un token de agente de usuario diferente), versión del protocolo http, tamaño de recuperación, lo que sea. Es básicamente Googlebot con un nombre diferente».
No hay comentarios sobre si este rastreador se puede usar o no para Google Bard.
Entonces, si ve este nuevo rastreador, GoogleOther, de eso se trata.
Creo que deberían haberlo llamado «MiniMeGoogleBot».
Solo una aclaración de Gary:
> utilizado por los equipos de productos de Google para crear internamente el índice de Google
al revés: Googlebot se usa para la creación de índices, GoogleOther para las otras tareas históricamente propiedad de Googlebot — Gary Kujiri/경리 Illyes (@methode)
20 de abril de 2023
como, rastreos aleatorios únicos que solíamos hacer para aprender algo. ¿Quiere saber cuántos sitios *requieren* un encabezado de solicitud de idioma aceptado? ejecutar un trabajo de rastreo. Esto solía ser con googlebot, ahora será con GoogleOther.Por favor, no lo pienses demasiado, es muy aburrido. — Gary Kujiri/경리 Illyes (@methode)
20 de abril de 2023
Foro de discusión en LinkedIn.
