Los Claude Bots de Anthropic hacen que las decisiones sobre robots.txt sean más granulares

Anthropic actualizó la documentación de su rastreador esta semana con un desglose formal de sus tres rastreadores web y sus propósitos individuales. La página ahora enumera ClaudeBot (recopilación de datos de entrenamiento), Claude-User (que busca páginas cuando los usuarios de...

febrero 25, 2026

Google señala silenciosamente que NotebookLM ignora Robots.txt

SEO

Google señala silenciosamente que NotebookLM ignora Robots.txt

Google ha actualizado silenciosamente su lista de recuperadores activados por el usuario con nueva documentación para Google NotebookLM. La importancia de este cambio aparentemente menor es que está claro que Google NotebookLM no obedecerá al archivo robots.txt. Cuaderno de GoogleLM...

octubre 10, 2025

Política de Google Updates Robots.txt: los campos no admitidos se ignoran

SEO

Política de Google Updates Robots.txt: los campos no admitidos se ignoran

Google limita la compatibilidad con robots.txt a cuatro campos, aclarando su postura sobre las directivas no compatibles. Google sólo admite cuatro campos robots.txt específicos. Se ignorarán las directivas no compatibles en robots.txt. Considere auditar sus archivos robots.txt a la luz...

octubre 7, 2024

Google confirma que Robots.txt no puede impedir el acceso no autorizado

SEO

Google confirma que Robots.txt no puede impedir el acceso no autorizado

Gary Illyes de Google confirmó una observación común de que robots.txt tiene un control limitado sobre el acceso no autorizado por parte de los rastreadores. Luego, Gary ofreció una descripción general de los controles de acceso que todos los SEO...

agosto 2, 2024

Google dice que si utiliza una CDN y desea un archivo Robots.txt, redirija el suyo a la CDN

SEO

Google dice que si utiliza una CDN y desea un archivo Robots.txt, redirija el suyo a la CDN

¿Utiliza una CDN para parte o la totalidad de su sitio web y desea administrar solo un archivo robots.txt, en lugar del archivo robots.txt de la CDN y el archivo robots.txt de su sitio principal? Gary Illyes de Google dijo...

julio 6, 2024

No necesita Robots.txt en el dominio raíz, dice Google

SEO

No necesita Robots.txt en el dominio raíz, dice Google

Gary Illyes de Google comparte un método poco convencional pero válido para centralizar las reglas de robots.txt en CDN. Los archivos Robots.txt se pueden centralizar en CDN, no solo en dominios raíz. Los sitios web pueden redirigir robots.txt desde el...

julio 3, 2024

Robots.txt cumple 30 años: Google destaca las fortalezas ocultas

SEO

Robots.txt cumple 30 años: Google destaca las fortalezas ocultas

En una publicación reciente de LinkedIn, Gary Illyes, analista de Google, destaca aspectos menos conocidos del archivo robots.txt cuando cumple 30 años. El archivo robots.txt, un componente de indexación y rastreo web, ha sido un pilar de las prácticas de...

julio 3, 2024

Google recuerda a los sitios web que utilicen Robots.txt para bloquear las URL de acción

SEO

Google recuerda a los sitios web que utilicen Robots.txt para bloquear las URL de acción

En una publicación de LinkedIn, Gary Illyes, analista de Google, reiteró una guía de larga data para los propietarios de sitios web: use el archivo robots.txt para evitar que los rastreadores web accedan a URL que desencadenan acciones como agregar...

junio 15, 2024

Google actualiza el código del analizador Robots.txt en GitHub

SEO

Google actualiza el código del analizador Robots.txt en GitHub

Google actualizó su código analizador robots.txt de código abierto en GitHub el otro día. Gary Illyes de Google envió la actualización ayer por la mañana al repositorio allí. Google lanzó originalmente el analizador al mundo en 2019. Gary Illyes explicó...

mayo 24, 2024

Google había discutido permitir Noindex en Robots.txt

SEO

Google había discutido permitir Noindex en Robots.txt

John Mueller de Google respondió a una pregunta en LinkedIn para discutir el uso de una directiva noindex no compatible en el archivo robots.txt de su sitio web personal. Explicó los pros y los contras del soporte de la directiva...

marzo 20, 2024

1 2

Etiqueta: Robots.txt