Google actualizó su código analizador robots.txt de código abierto en GitHub el otro día. Gary Illyes de Google envió la actualización ayer por la mañana al repositorio allí. Google lanzó originalmente el analizador al mundo en 2019.
Gary Illyes explicó en LinkedIn que Google ha estado utilizando este analizador actualizado desde hace un tiempo, pero ahora Google ha lanzado esa actualización en GitHub.
Gary escribió: «El lanzamiento presenta nuevas capacidades en la clase de analizador que le permite exportar información de análisis sobre el cuerpo de robotstxt pasado y agrega una nueva biblioteca para acceder a esa información. Google Search Console ha utilizado esta nueva biblioteca durante muchas lunas. ahora (junto con el puerto Java) y hasta ahora no hemos encontrado problemas con él, si lo haces, ¡presenta un problema en GitHub!
Cuando Google lanzó inicialmente este analizador, Google escribió que «abrieron la biblioteca C++ que nuestros sistemas de producción utilizan para analizar y hacer coincidir reglas en archivos robots.txt. Esta biblioteca existe desde hace 20 años y contiene fragmentos de código escritos en Desde entonces, la biblioteca evolucionó; aprendimos mucho sobre cómo los webmasters escriben archivos robots.txt y casos de esquina que teníamos que cubrir, y agregamos lo que aprendimos a lo largo de los años también al borrador de Internet cuando tuvo sentido. «
Foro de discusión en LinkedIn.
