Los Claude Bots de Anthropic hacen que las decisiones sobre robots.txt sean más granulares
Anthropic actualizó la documentación de su rastreador esta semana con un desglose formal de sus tres rastreadores web y sus propósitos individuales. La página ahora enumera ClaudeBot (recopilación de datos de entrenamiento), Claude-User (que busca páginas cuando los usuarios de...
