Mas, se eu nem sei o que é, como configurar o robots.txt corretamente?
Calma, primeiro vamos explicar…
O robots.txt é um arquivo de texto puro, que fica na pasta principal do site. Ele serve para informar aos robôs rastreadores de conteúdos pela internet, o que deve ser rastreado e também, o que não deve ser rastreado no seu site (quais as páginas).
Agora que você já sabe o que é o robots.txt, vale lembrar que, o próprio Google nos informa que não é necessário indexar todas as páginas do seu site, pois isso sobrecarrega nossos servidores e acaba atrapalhando no seu posicionamento.
“É bom evitar sobrecarregar o seu servidor com o rastreador do Google ou desperdiçar limite de rastreamento com páginas sem importância do seu site.”
O próprio Google tem um uma página com informações de configurações corretas como pode ver abaixo:
Como você otimiza robots.txt depende do conteúdo que você tem em seu site. Existem mil maneiras de tirar vantagens de robots.txt.
Vou falar das mais comuns.
Um dos melhores usos de arquivo robots.txt é a maximização do limite de rastreamento de ferramentas de busca, ao avisá-las para ignorar partes do seu site que não são vistas pelo público.
Caso você tenha conteúdo duplicado necessário, por exemplo uma versão para página web e outra para impressão, basta informar aos robôs para não rastrearem a página da impressão.
Páginas de agradecimento, após um cadastro no site, um download, devem deixar de ser rastreadas pelos robôs também.
Não existe uma receita mágica ou uma cartilha a ser seguida mas, vale a pena analisar todo o seu site, e ver quais as páginas que realmente devem ser rastreadas e quais aquelas que devem ser ignoradas.
Chame no WhatsApp (11) 97632-7700 ou envie um email.
