El 1 de julio de 2024, Reddit actualizó su archivo robots.txt para prohibir que la mayoría de los motores de búsqueda y rastreadores de inteligencia artificial accedan a su contenido, incluido el bloqueo de Microsoft Bing. Reddit no bloqueó la Búsqueda de Google, que cubrimos aquí hace unas semanas.
Un portavoz de Microsoft me dijo anoche: «Microsoft respeta el estándar robots.txt y respetamos las instrucciones proporcionadas por los sitios web que no quieren que el contenido de sus páginas se utilice con nuestros modelos generativos de IA. Bing dejó de rastrear Reddit después de que implementaron su versión actualizada». archivo robots.txt el 1 de julio, que prohíbe todo rastreo de su sitio».
Reddit dijo a The Verge: «Hemos estado en conversaciones con múltiples motores de búsqueda. No hemos podido llegar a acuerdos con todos ellos, ya que algunos no pueden o no quieren hacer promesas ejecutables con respecto al uso del contenido de Reddit, incluido su uso para IA. «.
Mark Williams-Cook me mostró que el nuevo contenido de Reddit no aparecía en Bing Search, publicó sobre esto en X y luego varios otros medios de comunicación lo cubrieron antes de que Microsoft me enviara esta declaración.
Reddit también dijo: «Esto no tiene ninguna relación con nuestra reciente asociación con Google». Sí, Google paga a Reddit 60 millones de dólares al año para poder acceder al contenido de su sitio.
No olvide que Google tiene un algoritmo de gemas ocultas que ayudó a Reddit a obtener mucho tráfico de Google. Reddit está viendo muchas malas relaciones públicas en torno a que Reddit domina la Búsqueda de Google. Quiero decir, Reddit domina los resultados de búsqueda de Google. Diablos, Google incluso probó un tratamiento especial para Reddit no hace mucho.
En cualquier caso, Bing y muchos otros motores de búsqueda y robots de inteligencia artificial ya no pueden rastrear el sitio de Reddit. Google puede y lo hace, pero otros motores no.
Un movimiento audaz en Reddit, pero con el acuerdo de licencia de Google, supongo que no es un movimiento demasiado audaz.
Wild: Reddit ahora bloquea el rastreo de contenido de todos los principales motores de búsqueda *excepto* Google
Esto sólo puede aumentar el poder monopólico de Google…
… y puedes apostar que los reguladores estarán interesados https://t.co/9uGDivBdYc
– Ciro SEO (@CyrusShepard) 25 de julio de 2024
Línea de tiempo:
– Google impulsa Reddit en búsquedas en más de un 400%
– Google anuncia un acuerdo de 60 millones con Reddit justo después
– Reddit anuncia que busca salir a bolsa entre 48 y 72 horas después
– Reddit bloquea todo el scraping para los motores de búsqueda de la competencia poco después👏Comportamiento anticompetitivo👏https://t.co/Hzrw0zkjDo
– Ori Zilbershtein (@OriZilbershtein) 24 de julio de 2024
Esto es parte de una desconcertante aceleración de la expansión de los monopolios para bloquear aún más la competencia y quitarle dinero a los usuarios. Los motores de búsqueda suelen proporcionar enlaces a contenido relevante. Ahora envían spam a los usuarios con anuncios entremezclados con contenido raspado y lavado por IA sin atribución. https://t.co/xMvzir3DPA
– Tim Sweeney (@TimSweeneyEpic) 24 de julio de 2024
Discusión del foro en X.
