El archivo robots.txt es una herramienta clave para la página web que pretende estar bien posicionada por los rastreadores como Google . Funciona como un instructivo para los crawlers , indicándoles qué áreas de tu plataforma pueden están rastreadas y cuáles se deben excluir . La óptima configuración de este documento puede a solucionar pro