El fichero robots.txt es un elemento esencial para toda sitio que busca estar bien vista por los rastreadores como Bing. Sirve como el mapa para los bots, indicándoles qué áreas de tu https://soloweb.mx/knowledgebase/211/Sitemap-y-robots.txt-para-mejorar-tu-web.html