Localize Robots.txt e Sitemap para o seu site por Shimul Baran

Robots.txt é um arquivo de texto simples que é colocado no diretório raiz do seu site. É o arquivo em seu site que informa os robôs do Search Engine que páginas da Web para rastrear e páginas da web que não a engatinhar em seu site. Ele também contém comandos para descrever qual mecanismo de pesquisa robôs são permitidos para rastrear e que são not.Usually, robôs de busca olhar para o robots.txt

arquivo em um site antes de entrar nesse site. por isso, é muito importante ter um arquivo robots.txt na primeira posição. Mesmo se você quiser todos os robôs de busca para indexar todas as páginas em seu site, um robots.txt padrão que permite a todos. Robots.txt também contêm uma informação importante e que é mapa do site.

Um Sitemap é um arquivo XML que contém uma lista de todas as páginas em seu site. Também podem conter outras informações sobre cada URL na forma de metadados. E, assim como robots.txt, mapa do site é um must-have para todos os sites. Ela ajuda a motor de pesquisa bots para explorar, rastrear e indexar todas as páginas em um site através do mapa do site.