Aller au contenu
CheckerGoogleRank
  1. Accueil
  2. Fichiers et configuration
  3. Générateur de robots.txt

Générateur de robots.txt

Produisez un robots.txt correct, sans commettre l'erreur qui désindexe un site entier.

Génération locale suivant la norme RFC 9309, avec la liste à jour des agents d'IA déclarés publiquement. Aucune donnée conservée, aucune limite d'usage.

À quoi sert cet outil

Le robots.txt indique aux robots quelles parties de votre site ils peuvent explorer. Il tient en quelques lignes, se place à la racine, et il est le premier fichier que consulte un moteur en arrivant.

Sa simplicité apparente est trompeuse. C'est l'un des fichiers les plus dangereux du web : une ligne mal placée peut retirer un site entier des résultats. L'erreur classique est un Disallow: / hérité de la préproduction et parti en production.

Le malentendu le plus répandu mérite d'être dit d'emblée : ce fichier contrôle l'exploration, pas l'indexation. Bloquer une page ici ne la retire pas de Google. C'est même souvent le contraire qui se produit.

À retenir absolument : pour retirer une page des résultats, il faut autoriser son exploration et y placer une balise noindex. Si vous la bloquez ici, Google ne peut pas lire l'instruction de retrait — et la page reste indexée, sans titre ni description.

Comment lire vos résultats

User-agent désigne le robot concerné. L'astérisque vise tous ceux qui n'ont pas de bloc dédié. Attention : un robot ne lit que le bloc le plus spécifique le concernant, et ignore alors totalement le bloc générique.

Disallow interdit un chemin. Une valeur vide n'interdit rien ; un Disallow: / interdit tout le site. La différence tient à un caractère, et elle est radicale.

Allow crée une exception dans une zone interdite. C'est utile pour bloquer un dossier tout en autorisant une ressource nécessaire à l'affichage, comme une feuille de style.

Sitemap indique l'adresse complète de votre plan de site. C'est la seule directive indépendante des blocs user-agent, et elle est lue par tous les moteurs.

La règle de priorité est celle du chemin le plus long, et non de l'ordre d'écriture. C'est contre-intuitif : vérifiez toujours le résultat avec le testeur de robots.txt avant de mettre en ligne.

Les erreurs les plus fréquentes

Bloquer une page pour la désindexer. L'erreur fondamentale. Le résultat est une page qui reste dans les résultats avec la mention « aucune information disponible » — le pire des deux mondes.

Laisser le Disallow de la préproduction. Le site de recette bloque tout, légitimement, et part en production avec la règle. C'est la première chose à vérifier quand un site neuf ne s'indexe pas.

Bloquer les fichiers CSS et JavaScript. Ancienne pratique devenue nuisible : Google a besoin de ces ressources pour afficher la page et juger de son ergonomie mobile. Les bloquer dégrade son évaluation.

Y lister ses zones sensibles. Le fichier est public. Écrire Disallow: /admin-secret/ revient à publier l'emplacement de votre administration. Protégez par authentification, ne signalez pas.

Oublier les sous-domaines. Chacun a besoin de son propre fichier. Celui du domaine principal ne s'applique pas au blog hébergé sur un sous-domaine.

Aller plus loin

Questions fréquentes

Bloquer une page dans robots.txt la retire-t-elle de Google ?

Non, et c'est le contresens le plus coûteux du référencement. Interdire l'exploration empêche Google de lire la page, mais pas de l'indexer s'il en découvre l'adresse ailleurs. Elle apparaît alors sans titre ni description utiles. Pour retirer une page, il faut au contraire l'autoriser à l'exploration et y placer une balise noindex.

Faut-il un robots.txt si je ne bloque rien ?

Ce n'est pas obligatoire, mais c'est recommandé. Son absence provoque une erreur 404 à chaque passage de robot, ce qui est inutile. Et c'est l'endroit conventionnel où déclarer votre sitemap. Un fichier minimal, autorisant tout et pointant vers le sitemap, suffit largement.

Le robots.txt empêche-t-il vraiment l'accès ?

C'est une convention, pas une barrière. Les robots sérieux la respectent parce que leur réputation en dépend ; les collecteurs malveillants l'ignorent. Pour un contenu réellement sensible, il faut une authentification ou un blocage serveur — jamais une ligne dans un fichier public que tout le monde peut lire.

Quelle règle s'applique quand plusieurs correspondent ?

La plus spécifique, c'est-à-dire celle dont le chemin est le plus long. Un Allow sur /prive/public/ l'emporte sur un Disallow sur /prive/. En cas d'égalité de longueur, l'autorisation gagne. C'est contre-intuitif et c'est la source d'erreur la plus fréquente.

Puis-je bloquer les robots d'intelligence artificielle ici ?

Oui, en ciblant leurs agents : GPTBot, ClaudeBot, PerplexityBot, Google-Extended et quelques autres. Attention à la précision : bloquer Google-Extended n'affecte pas votre indexation classique, mais bloquer Googlebot par imprécision désindexerait tout le site.

Le fichier doit-il être à la racine ?

Impérativement, et à la racine du domaine exact. Un robots.txt placé dans un sous-dossier n'est jamais lu. Et chaque sous-domaine a besoin du sien : celui de exemple.fr ne s'applique pas à blog.exemple.fr.