Política de Google Updates Robots.txt: los campos no admitidos se ignoran
Google limita la compatibilidad con robots.txt a cuatro campos, aclarando su postura sobre las directivas no compatibles. Google sólo admite cuatro campos robots.txt específicos. Se ignorarán las directivas no compatibles en robots.txt. Considere auditar sus archivos robots.txt a la luz...
