Google parece saber manejar u obedecer los campos de encabezado RateLimit para HTTP. Mike Blazer le preguntó a John Mueller de Google sobre esto y John dijo que nunca había oído hablar de ello, por lo que supone que la Búsqueda de Google no se encarga de ello.
Mike Blazer preguntó: «¿Google respeta el encabezado HTTP» x-ratelimit-limit «al rastrear sitios web?»
John Mueller respondió: «Nunca había oído hablar de eso, así que supongo que es una respuesta :-). Documentamos HTTP 429 y 503 para solicitar desaceleraciones».
Aquí están esas publicaciones sobre Mastodon:
Puede ver el documento de ayuda completo sobre lo que Google admite con estos encabezados aquí.
Foro de discusión en Mastodon.
