Primero, ¿Sabéis para que sirve el archivo robot.txt no? Entiendo que si habéis llegado aquí, no es por que tenéis ganas de leer lo que sea, para eso están los botes de champú.