Google ha reorganizado completamente la documentación de sus rastreadores y buscadores activados por el usuario. Solía estar todo en una página y ahora está en varias páginas. La mayoría de los cambios fueron simplemente mover contenido, pero Google agregó secciones para saber a qué producto afecta cada rastreador y agregó un fragmento de robots.txt para cada rastreador para demostrar cómo usar los tokens de agente de usuario.
Google escribió: «La documentación se hizo muy larga, lo que limitó nuestra capacidad de ampliar el contenido sobre nuestros rastreadores y buscadores activados por el usuario», por eso la rehicieron.
Si profundiza en cada rastreo, por ejemplo el robot de Google, verá dos secciones nuevas:
(1) Productos afectados
(2) Ejemplo de grupo robots.txt
Aquí hay una captura de pantalla de muestra, pero lo que resalté en rojo se agregó para cada rastreador:
Así es como cada rastreador afecta a los productos:
- Robot de Google: las preferencias de rastreo dirigidas al agente de usuario del robot de Google afectan la Búsqueda de Google (incluido Discover y todas las funciones de Búsqueda de Google), así como otros productos como Google Imágenes, Google Video, Google News y Discover.
- Imagen del robot de Google: las preferencias de rastreo dirigidas al agente de usuario de Imagen del robot de Google afectan a Google Imágenes, Discover, Google Video y todas las funciones de la Búsqueda de Google donde se presentan imágenes, logotipos y favicons.
- Googlebot Video: las preferencias de rastreo dirigidas al agente de usuario de Googlebot-Video afectan las funciones de Búsqueda de Google relacionadas con videos y otros productos que dependen de videos.
- Googlebot News: las preferencias de rastreo dirigidas al agente de usuario de Googlebot-News afectan todas las superficies de Google News (por ejemplo, la pestaña Noticias en la Búsqueda de Google y la aplicación Google News).
- Google StoreBot: las preferencias de rastreo dirigidas al agente de usuario Storebot-Google afectan a todas las superficies de Google Shopping (por ejemplo, la pestaña Shopping en la Búsqueda de Google y Google Shopping).
- Google-InspectionTool: las preferencias de rastreo dirigidas al agente de usuario Storebot-Google afectan las herramientas de prueba de búsqueda, como la prueba de resultados enriquecidos y la inspección de URL en Search Console. No tiene ningún efecto en la Búsqueda de Google ni en otros productos.
- GoogleOtro: las preferencias de rastreo dirigidas al agente de usuario de GoogleOtro no afectan a ningún producto específico. GoogleOther es el rastreador genérico que pueden utilizar varios equipos de productos para recuperar contenido de sitios de acceso público. Por ejemplo, puede usarse para rastreos únicos para investigación y desarrollo internos. No tiene ningún efecto en la Búsqueda de Google ni en otros productos.
- GoogleOther-Image: las preferencias de rastreo dirigidas al agente de usuario GoogleOther-Image no afectan a ningún producto específico, similar a GoogleOther. GoogleOther-Image es la versión de GoogleOther optimizada para recuperar URL de imágenes de acceso público.
- GoogleOther-Video: las preferencias de rastreo dirigidas al agente de usuario de GoogleOther-Video no afectan a ningún producto específico, similar a GoogleOther. GoogleOther-Video es la versión de GoogleOther optimizada para recuperar URL de vídeos de acceso público.
- Google-CloudVertexBot: las preferencias de rastreo dirigidas al agente de usuario de Google-CloudVertexBot afectan los rastreos solicitados por los propietarios del sitio para crear agentes Vertex AI. No tiene ningún efecto en la Búsqueda de Google ni en otros productos.
- Google extendido: Google extendido es un token de producto independiente que los editores web pueden usar para administrar si sus sitios ayudan a mejorar las API generativas de Gemini Apps y Vertex AI, incluidas las generaciones futuras de modelos que impulsan esos productos. Google Extendido no afecta la inclusión o clasificación de un sitio en la Búsqueda de Google.
- API de Google: las preferencias de rastreo dirigidas al agente de usuario de API de Google afectan la entrega de mensajes de notificación push por parte de las API de Google.
- AdsBot Mobile Web: las preferencias de rastreo dirigidas al agente de usuario AdsBot-Google-Mobile afectan la capacidad de Google Ads para verificar la calidad de los anuncios de la página web.
- AdsBot: las preferencias de rastreo dirigidas al agente de usuario AdsBot-Google afectan la capacidad de Google Ads para verificar la calidad de los anuncios de la página web.
- AdSense: las preferencias de rastreo dirigidas al agente de usuario de Mediapartners-Google afectan a Google AdSense. El rastreador de AdSense visita los sitios participantes para ofrecerles anuncios relevantes.
- Google-Safety: el agente de usuario de Google-Safety maneja el rastreo de abusos específicos, como el descubrimiento de malware para enlaces publicados públicamente en las propiedades de Google. Como tal, no se ve afectado por las preferencias de rastreo.
- Feedfetcher: Feedfetcher se utiliza para rastrear feeds RSS o Atom para Google News y PubSubHubbub.
- Centro de editores de Google: el Centro de editores de Google recupera y procesa los feeds que los editores proporcionaron explícitamente para su uso en las páginas de destino de Google News.
- Google Read Aloud: a petición del usuario, Google Read Aloud busca y lee páginas web mediante texto a voz (TTS).
- Google Site Verifier: Google Site Verifier obtiene tokens de verificación de Search Console.
Google escribió:
Se reorganizó la documentación para los rastreadores de Google y los buscadores activados por el usuario. También agregamos notas explícitas sobre a qué producto afecta cada rastreador y agregamos un fragmento de robots.txt para cada rastreador para demostrar cómo usar los tokens de agente de usuario. Por lo demás, no hubo cambios significativos en el contenido.
Google también agregó información sobre las codificaciones de contenido (compresiones) admitidas por los rastreadores de Google y los buscadores activados por el usuario. Esto es solo un cambio de documentación, no un cambio de comportamiento. Google también actualizó la URL en la cadena del agente de usuario HTTP de GoogleProducer en la documentación de los buscadores activados por el usuario de Google para que coincida con el valor utilizado por el buscador real.
Discusión del foro en X.
Crédito de la imagen Lizzi Sassman.
