Robots Txt Generator (por Ann Smarty) é uma ferramenta fácil de usar para criar diretivas de robôs. txt apropriado para o seu site: Copie e edite facilmente arquivos Robots.txt de outros sites ou crie seus próprios arquivos Robots.txt. Quando as aranhas de mecanismos de pesquisa navegam em um site, elas geralmente começam por identificar um arquivo de robôs. txt no nível de domínio raiz. Durante a identificação, o rastreador lê as diretivas de arquivo para identificar diretórios e arquivos que podem ser bloqueados. Arquivos bloqueados podem ser criados com o gerador de robôs. txt; esses arquivos são, de certa forma, o oposto daqueles de um sitemap de site site, que geralmente inclui páginas para incluir quando um mecanismo de busca verifica um site.
Nosso Gerador de Robôs. txt
Criar um arquivo editado/novo robots.txt para um site é fácil quando você usa um gerador robots.txt. Para baixar um arquivo existente e pré-preencher a ferramenta geradora, digite ou copie/colar a URL do domínio raiz na caixa de texto fornecida e selecione Download.
Para personalizar o arquivo robots.txt gerado, use as funções 'Permitir' e 'Negar'. Observe que a configuração padrão é Permitir. Para aplicar uma nova diretiva à sua lista, clique em 'Adicionar diretiva'.
Para eliminar ou modificar uma directiva existente, seleccione Eliminar directiva e, em seguida, crie uma nova directiva utilizando a função Adicionar directiva.
Personalize as diretivas do agente de usuário
O nosso gerador de robôs. txt permite a especificação de vários motores de busca diferentes, incluindo o Google. Para especificar diretivas alternativas para um ou mais rastreadores específicos do mecanismo de pesquisa, marque a caixa de seleção User Agent, indicando (*) por padrão, para especificar o bot.
Selecione 'Adicionar diretiva' para adicionar a seção personalizada à lista com a diretiva genérica como parte da nova diretiva personalizada.
Para revisar uma diretiva de rejeição genérica para refletir uma diretiva de autorização para um agente de usuário personalizado, crie uma nova diretiva de autorização para acomodar o agente de usuário específico para o conteúdo. A diretiva de recusa correspondente é eliminada para o agente de usuário personalizado.
Para adicionar um link a um arquivo de mapa do site baseado em XML, copie/colar ou digite a URL completa do arquivo de mapa do site na caixa de texto especificada e selecione'Atualizar' para adicionar esse comando à lista de arquivos do robô. txt. Quando terminar, selecione Exportar para salvar o novo arquivo robots.txt e, em seguida, use FTP para carregar o arquivo robots.txt no domínio raiz do site. Uma vez baixado, o arquivo robtos.txt informará ao Google e outros mecanismos de busca quais páginas, diretórios e diretórios ou o site para exibir e não exibir quando um usuário do mecanismo de busca entra em uma consulta.O Ultimate Guide to Blocking Your Content in Search é um excelente recurso para aqueles que querem aprender mais sobre arquivos txt e diretrizes.