Anthropic actualiza la documentación de su rastreador explicando qué hacen sus rastreadores y en qué resultará su bloqueo. Anthropic tiene tres bots principales e incluyen ClaudeBot, Claude-User y Claude-SearchBot.
La documentación está aquí y creo que se actualizó el pasado viernes 20 de febrero. Pedro Dias detectó el cambio y lo publicó en X diciendo: «Parece Anthropic actualizó hoy sus documentos para incluir más información sobre sus rastreadores y su propósito».
Esto es lo que dice hoy:
- claudebot: ClaudeBot ayuda a mejorar la utilidad y seguridad de nuestros modelos de IA generativa al recopilar contenido web que potencialmente podría contribuir a su capacitación. Cuando un sitio restringe el acceso a ClaudeBot, indica que los materiales futuros del sitio deben excluirse de nuestros conjuntos de datos de entrenamiento de modelos de IA.
- Claude-Usuario: Claude-User admite usuarios de Claude AI. Cuando las personas le hacen preguntas a Claude, este puede acceder a sitios web utilizando un agente Claude-User. Claude-User permite a los propietarios de sitios controlar a qué sitios se puede acceder a través de estas solicitudes iniciadas por el usuario. Deshabilitar Claude-User en su sitio evita que nuestro sistema recupere su contenido en respuesta a la consulta de un usuario, lo que puede reducir la visibilidad de su sitio para la búsqueda web dirigida por el usuario.
- Claude-SearchBot: Claude-SearchBot navega por la web para mejorar la calidad de los resultados de búsqueda para los usuarios. Analiza el contenido en línea específicamente para mejorar la relevancia y precisión de las respuestas de búsqueda. Deshabilitar Claude-SearchBot en su sitio evita que nuestro sistema indexe su contenido para la optimización de la búsqueda, lo que puede reducir la visibilidad y precisión de su sitio en los resultados de búsqueda de los usuarios.
Anthropic también admite la directiva Crawl-delay y la directiva del archivo robots.txt.
Discusión del foro en X.
