El fichero robots.txt es un herramienta clave para toda página web que desea estar bien indexada por los motores de búsqueda como Google . Sirve como un instructivo para los bots, indicándoles qué páginas de tu plataforma pueden están rastreadas y cuáles evitar. Una correcta configuración de este Comienza ya fichero puede a solucionar probl