Hoy, 4 de julio, normalmente evitaría escribir historias aquí, pero hay muchos rumores de que Reddit está bloqueando la Búsqueda de Google para que no rastree e indexe su contenido. No es cierto: Reddit no bloquea la Búsqueda de Google.
Quiero decir, a primera vista, parece que el archivo robots.txt de Reddit está bloqueando todos los motores de búsqueda, incluida la Búsqueda de Google:
Pero eso es justo lo que tú y yo vemos.
Si accede a él desde la prueba de Resultados enriquecidos de Google, como si realmente estuviera accediendo desde los rangos de IP de Google, verá que Google sí está permitido:
Además, intente ver si esa herramienta puede acceder a la página de inicio de Reddit; puede hacerlo y está permitido:
Quiero decir, pensar que Reddit está bloqueando a Google es un poco descabellado. Que Reddit haga eso es aún más loco. Google le paga a Reddit por ese contenido y Reddit recibe una enorme cantidad de tráfico de la Búsqueda de Google.
Buen trabajo de investigación Pedro Dias sobre X y Ryan Siddle por aquí.
Esto es lo que le están mostrando a Google:
# Nuestro robots.txt es para motores de búsqueda.
# 80piernas
Agente de usuario: 008
No permitir: /# El nuevo rastreador de 80legs
Agente de usuario: voltron
No permitir: /Agente de usuario: doblador
No permitir: /my_shiny_metal_assAgente de usuario: Gort
No permitir: /tierraAgente de usuario: MJ12bot…
— Pedro Días (@pedrodias) 4 de julio de 2024
Para que todos puedan relajarse, Reddit seguirá estando por encima de ustedes en todo su contenido en la Búsqueda de Google…
Discusión del foro en X.
