Google limita la compatibilidad con robots.txt a cuatro campos, aclarando su postura sobre las directivas no compatibles.
- Google sólo admite cuatro campos robots.txt específicos.
- Se ignorarán las directivas no compatibles en robots.txt.
- Considere auditar sus archivos robots.txt a la luz de esta actualización.