John Mueller de Google dijo que puede tener sentido para noindex su archivo llms.txt. De esta manera, el archivo no es indexado por los motores de búsqueda, y luego de alguna manera un usuario aterriza y está confundido.
John escribió en Bluesky: «Dicho esto, usar noindex para él podría tener sentido, ya que los sitios podrían vincularse a él y de otra manera podría indexarse, lo que sería extraño para los usuarios».
La pregunta era:
¿Google verá los archivos LLMS.txt como contenido duplicado? Parece un cuello rígido para hacerlo, dado que saben que no lo es, y para qué es realmente.
¿Debo agregar un encabezado «noindex» para LLMS.txt para Googlebot?
John Mueller respondió en su totalidad:
Solo sería contenido duplicado si el contenido fuera el mismo que una página HTML, lo que no tendría sentido (suponiendo que el archivo en sí fuera útil). Dicho esto, usar noindex para él podría tener sentido, ya que los sitios podrían vincularse a él y de otra manera podría indexarse, lo que sería extraño para los usuarios.
John dijo anteriormente que hasta donde él sabe que ningún sistema de IA actualmente usa LLMS.txt.
En cualquier caso, muchos sitios lo están adoptando, ¿lo no esindex?
Discusión del foro en Bluesky.
