John Mueller de Google respondió una pregunta sobre LLMS.TXT relacionada con el contenido duplicado, afirmando que no tiene sentido que se vea como contenido duplicado, pero también declaró que podría tener sentido tomar medidas para evitar la indexación.
Llms.txt
LLMS.TXT es una propuesta para crear un nuevo estándar de formato de contenido que los modelos de lenguaje grande pueden usar para recuperar el contenido principal de una página web sin tener que lidiar con otros datos sin contenido, como publicidad, navegación y cualquier otra cosa que no sea el contenido principal. Ofrece a los editores web la capacidad de proporcionar una versión seleccionada y formatada del contenido más importante. El archivo LLMS.TXT se encuentra en el nivel raíz de un sitio web (ejemplo.com/llms.txt).
Al contrario de algunas afirmaciones hechas sobre LLMS.txt, no es de ninguna manera similar a Robots.txt. El propósito de Robots.txt es controlar el comportamiento del robot, mientras que el propósito de LLMS.txt es proporcionar contenido a modelos de idiomas grandes.
¿Google verá llms.txt como contenido duplicado?
Alguien en Bluesky preguntó si LLMS.txt podría ser visto por Google como contenido duplicado, lo cual es una buena pregunta. Podría suceder que alguien fuera del sitio web pueda vincular a LLMS.TXT y que Google pueda comenzar a surgir ese contenido en lugar o además del contenido HTML.
Esta es la pregunta que se hace:
“¿Google verán los archivos LLMS.txt como contenido duplicado? Parece que se cuello rígido hacerlo, dado que saben que no lo es, y para qué es realmente.
¿Debo agregar un encabezado «noindex» para LLMS.txt para Googlebot? «
John Mueller de Google respondió:
«Solo sería contenido duplicado si el contenido fuera el mismo que una página HTML, lo que no tendría sentido (suponiendo que el archivo en sí fuera útil).
Dicho esto, usar noindex para él podría tener sentido, ya que los sitios podrían vincularse a él y de otra manera podría indexarse, lo que sería extraño para los usuarios «.
Noindex para llms.txt
Usar un encabezado noindex para el LLMS.TXT es una buena idea porque evitará que el contenido ingrese al índice de Google. Usar un robots.txt para bloquear Google no es necesario porque eso solo impedirá que Google rastree el archivo, lo que evitará que vea el noindex.
Imagen destacada de Shutterstock/Krakenimages.com
