Robots Txt Generator (par Ann Smarty) est un outil facile à utiliser pour créer des directives Robots. txt appropriées pour votre site: Copiez et modifiez facilement les fichiers Robots. txt d’autres sites ou créez vos propres fichiers Robots. txt.
Lorsque les robots des moteurs de recherche parcourent un site Web, ils commencent généralement par identifier un fichier robots. txt au niveau du domaine racine. Lors de l’identification, le crawler lit les directives du fichier pour identifier les répertoires et les fichiers qui peuvent être bloqués. Les fichiers bloqués peuvent être créés avec le générateur robots. txt; ces fichiers sont, d’une certaine manière, le contraire de ceux du sitemap d’un site web, qui inclut généralement des pages à inclure lorsqu’un moteur de recherche parcourt un site web.
ONotre Générateur Robots. txt
La création d’un fichier edited/new robots. txt pour un site web est facile lorsque vous utilisez un générateur robots. txt.
Pour télécharger un fichier existant et pré-remplir l’outil du générateur, tapez ou copiez/collez l’URL du domaine racine dans la zone de texte prévue à cet effet et sélectionnez Télécharger .
Pour personnaliser le fichier robots. txt généré, utilisez les fonctions’Autoriser’et’ Refuser’. Veuillez noter que l’outil est réglé par défaut sur Autoriser. Pour appliquer une nouvelle directive à votre liste, cliquez sur’Ajouter une directive’. Pour supprimer ou modifier une directive existante, sélectionnez Supprimer la directive, puis créez-en une nouvelle en utilisant la fonction Ajouter une directive.
Personnaliser les directives de l’agent utilisateur
Notre générateur robots. txt permet la spécification de plusieurs moteurs de recherche différents, dont Google.
Pour réviser une directive générique de rejet afin de refléter une directive d’autorisation pour un agent utilisateur personnalisé, créez une nouvelle directive d’autorisation pour accommoder l’agent utilisateur spécifique pour le contenu. La directive de rejet correspondante est alors supprimée pour l’agent utilisateur personnalisé.
Pour ajouter un lien vers un fichier sitemap basé sur XML, copiez/collez ou tapez l’URL complète du fichier sitemap dans la zone de texte spécifiée, puis sélectionnez’Mise à jour’pour ajouter cette commande à la liste de fichiers robots. txt.
Une fois terminé, sélectionnez Exporter, afin d’enregistrer le nouveau fichier robots. txt, puis utilisez FTP pour télécharger le fichier robots. txt vers la racine du domaine du site Web. Une fois téléchargé, le fichier robtos. txt dictera à Google et aux autres moteurs de recherche quelles pages, répertoires et répertoires ou le site Web afficher et ne pas afficher lorsqu’un utilisateur du moteur de recherche entre dans une requête. Le Ultimate Guide to Blocking Your Content in Search est une excellente ressource pour ceux qui souhaitent en savoir plus sur les fichiers robots. txt et les directives.