O objetivo de todo criador de conteúdo é que seu material apareça durante as buscas dos usuários. Para atingir esse objetivo, muitos usam estratégias de SEO, de marketing de conteúdo e várias outras ações que podem ajudar o seu site a aparecer para mais pessoas. Porém, muitos esquecem ou não conhecem uma boa ferramenta que pode ajudar nas configurações do seu site: o robots.txt.
O robots.txt é um arquivo na raiz do seu site e apresenta algumas instruções para os buscadores. Por exemplo, essa ferramenta ajuda a “esconder” algumas páginas do seu site, quando termos específicos são buscados. Sendo assim, por exemplo, a página de login ou arquivos de acesso exclusivo não aparecem no Google. Então, vamos lá entender mais sobre a ferramenta e como usá-la?
O que é o robots.txt?
O robots.txt é um arquivo que deve ser salvo na raiz de seu site. Sua principal função é indicar para os buscadores, como o Google e o Bing, o que deve e o que não deve ser exposto em suas páginas de busca. Esse arquivo é no formato .txt e pode ser feito no próprio bloco de notas do computador. Além disso, o próprio Google tem uma página que ajuda a implementar esses arquivos: Introdução ao robots.txt.
Para que serve o robots.txt?
Como já ressaltamos aqui no artigo, esses arquivos servem para dar ordens para os robôs dos mecanismos de busca. Dessa forma, o robots.txt além de indicar quais as páginas que podem aparecer nos buscadores, também indica se as imagens do seu site podem aparecer em buscas. Além disso, pode esconder alguns arquivos que não são importantes na navegação do seu site.
Como criar um arquivo robots.txt?
O conhecimento necessário para criar um arquivo desse é bem simples, já que exige apenas alguns comandos específicos. Como já falamos, esse arquivo pode ser feito no bloco de notas do seu computador. Além disso, depois que o arquivo estiver pronto, você precisa do acesso à raiz de seu site, junto ao domínio. É bom saber o que esse arquivo faz e como executá-lo, contudo, quem provavelmente fará isso será o designer do seu site.
Limitações do robots.txt
As instruções são diretivas
Apesar de ser um padrão usar comandos através do robots.txt, os mecanismos de busca são autônomos e podem decidir ignorar certos comandos. Sendo assim, por mais que os robôs do Google atendam aos comandos, outros buscadores podem não atender. Para se certificar que as páginas que você deseja fiquem ocultas, você pode protegê-las com senha.
Cada robô pode interpretar de maneira diferente
Como já mencionamos, esses comandos seguem um padrão. Contudo, cada buscador pode interpretar de um jeito diferente, ou seja, os mecanismos de busca podem não ouvir os comandos. Dessa forma, o ideal é ajustar a sintaxe para cada ferramenta de busca.
Os conteúdos bloqueados ainda podem ser encontrados
É comum imaginar que os conteúdos bloqueados pelo robots.txt não pode mais ser encontrado. Porém, além de ser encontrado, ele pode ser divulgado em outros sites. Sendo assim, é imperativo que você bloqueie o acesso através de senhas ou insira uma tag noindex, para que esse conteúdo fique realmente inacessível.
Comandos do robots.txt
1 – User-agent
O comando user-agent se refere ao buscador que você deseja com o qual você deseja se comunicar. Sendo assim, caso queira inserir um comando específico para o Google, você deve usar em seu robots.txt User-agent: Googlebot. Caso o comando seja para o Bing você deve usar User-agent: Bingbot. Como você deve ter percebido, basta inserir o nome do buscador antes da palavra ‘bot’. Para um comando geral, ou seja, para todos os buscadores, você deve usar um asterisco no lugar da palavras, dessa forma: User-agent: *.
2 – Allow
O comando allow serve para permitir que as páginas ou conteúdo sejam encontradas. Sendo assim, por padrão, tudo em seu site está liberado, menos quando você usa o comando disallow. Porém, é possível que você deseja que um arquivo seja indexado dentro de uma página bloqueada. Portanto, é aí que você usa esse comando.
3 – Disallow
Esse é o comando responsável por bloquear a indexação de certas páginas de seu site. Dessa forma, basta você inserir o endereço da página após o comando, dessa maneira: Disallow: /beta.php. Também é possível bloquear pastas específicas, ao inserir o nome delas após o comando: Disallow: /arquivos/. Você pode fazer um bloqueio em massa, através da primeira letra de todas as pastas, dessa forma: Disallow: /a.
Conseguiu entender tudo sobre essa ferramenta? Então se liga nesses artigos:
Desafios em SEO: quais as principais dificuldades para marcas
Community manager: o que é e o que faz esse profissional?
Extensões para Instagram: 10 opções para você otimizar o trabalho
Fontes: Rock Content, Resultados Digitais, SEOMarketing
