Robots.txt

Robots.txt - é um arquivo de texto, usado no contexto de SEO (Search Engine Optimization), que fornece orientação aos rastreadores da Web sobre arquivos específicos e quantas páginas devem ser indexadas e quais não devem ser indexadas. Ele faz parte do padrão do Protocolo de Exclusão de Robôs.

O uso do arquivo robots.txt?

O arquivo robots.txt é colocado no servidor de um site e está disponível publicamente em www.domena.pl/robots.txt. Os rastreadores dos mecanismos de busca examinam o arquivo robots.txt antes de começar a indexar um determinado site. Esse arquivo tem vários usos, como

Controle de acesso: O arquivo robots.txt permite que os administradores do site bloqueiem o acesso a páginas de login específicas para os robôs dos mecanismos de pesquisa. Isso pode ser útil se determinadas seções de todo o site contiverem dados confidenciais.

Evitar conteúdo duplicado: Se um site tiver diferentes variantes de URLs que levam ao mesmo conteúdo, o arquivo robots.txt permite que os administradores excluam variantes indesejadas da indexação para evitar problemas de conteúdo duplicado.

Gerenciamento da frequência de indexação: O arquivo robots.txt permite controlar a frequência com que os robôs dos mecanismos de pesquisa devem visitar seu site.

É importante lembrar que o arquivo robots.txt é apenas uma recomendação para os robôs dos mecanismos de pesquisa, não um executor. Alguns robôs da Web podem ignorar as regras do arquivo, e é por isso que também existem métodos adicionais para controlar a acessibilidade do conteúdo nas páginas da Web, como cabeçalhos HTTP ou metatags noindex.

Como deve ser o arquivo robots.txt?

Um arquivo robots.txt é um arquivo de texto que deve ser colocado no diretório raiz do seu site no servidor. Aqui está um exemplo de um arquivo robots.txt simples:

User-agent: *

Não permitir: /private/

Não permitir: /temp/

Não permitir: /cgi-bin/

No exemplo acima:

User agents: * significa que essas instruções se aplicam a todos os robôs de mecanismos de pesquisa.

Disallow: /private/ significa que o diretório “private” deve ser bloqueado e que os robôs dos mecanismos de busca não devem indexar as páginas.

Disallow: /temp/ significa que o diretório “temp” também deve ser bloqueado.

Disallow: /cgi-bin/ significa que o diretório “cgi-bin” também deve ser bloqueado.

Ao criar um arquivo robots.txt, é importante fazê-lo com cuidado e ter cautela para evitar o bloqueio acidental do acesso a partes importantes do seu site. Veja abaixo algumas dicas para criar um arquivo robots.txt:

Certifique-se de que o arquivo robots.txt tenha o nome exato que deve ter: “robots.txt”.

Recomenda-se que o arquivo esteja disponível em https://www.nazwadomeny.com/robots.txt.

Você pode adicionar algumas linhas com instruções Disallow para bloquear diretórios ou arquivos específicos.

Você pode usar comentários que começam com o símbolo # para adicionar explicações ao arquivo.

‍

Como editar o arquivo robots.txt?

Para editar o arquivo robots.txt, siga as etapas a seguir:

Faça login no servidor: Se você for o proprietário ou administrador do site, precisará acessar a página de login que hospeda o arquivo robots.txt. Para isso, pode ser necessário acessar o painel de controle de hospedagem ou acessar o servidor via FTP (File Transfer Protocol).

Localize o arquivo robots.txt: Navegue até o diretório em que o arquivo robots.txt está localizado no servidor. Normalmente, esse é o diretório raiz do site, mas também pode estar armazenado em um subdiretório.

Edite o arquivo robots.txt: Usando um editor de texto, abra o arquivo robots.txt. Você pode usar qualquer editor de texto, como o Notepad (para Windows) ou o TextEdit (para Mac).

Faça as alterações: Pode haver várias diretivas no arquivo robots.txt, como User-agent, Disallow, Allow, etc. Para fazer alterações, adicione ou remova as linhas relevantes no arquivo, de acordo com o resultado esperado.

Salve o arquivo: Depois de fazer alterações no arquivo robots.txt, salve-o, mantendo o nome original.

Faça upload do arquivo para o servidor: Se estiver usando FTP, use um cliente de FTP para fazer upload do arquivo robots.txt atualizado de volta para o servidor. Certifique-se de substituir o arquivo anterior e salvá-lo no diretório correto.

Verifique a sintaxe: Quando o arquivo robots.txt estiver no servidor, verifique sua sintaxe para garantir que não haja erros. Isso pode ser feito usando ferramentas on-line ou as ferramentas disponíveis nas ferramentas para webmasters fornecidas pelos mecanismos de pesquisa.

É importante ter cuidado ao editar o arquivo robots.txt, pois alterações incorretas podem afetar a maneira como os robôs dos mecanismos de pesquisa indexam o site.