Aller au contenu
CheckerGoogleRank English version
  1. Accueil
  2. Fichiers et configuration
  3. Testeur de robots.txt

Testeur de robots.txt

Vérifiez, URL par URL, ce que votre robots.txt autorise vraiment.

Votre robots.txt est récupéré en direct et interprété selon la norme RFC 9309, en reproduisant la logique de priorité appliquée par Google. Aucune limite d'usage.

À quoi sert cet outil

Un robots.txt paraît simple à lire, et il l'est rarement. La règle de priorité n'est pas l'ordre d'écriture mais la longueur du chemin, les caractères génériques compliquent l'affaire, et chaque robot ne lit que le bloc qui le concerne.

Résultat : on croit avoir bloqué une section entière et une sous-partie reste ouverte. Ou l'inverse, plus grave — on croit avoir tout ouvert et une règle héritée bloque les pages qui comptent.

Ce testeur tranche la question. Vous donnez une URL, il vous dit si elle est autorisée pour le robot choisi, et il affiche la règle exacte qui produit ce résultat. Plus d'interprétation, une réponse.

Le moment où c'est indispensable : avant de mettre en ligne une modification du fichier. Une erreur de robots.txt peut retirer un site entier des résultats en quelques jours, et le retour à la normale prend bien plus longtemps que la chute.

Comment lire vos résultats

Le verdict autorisé ou bloqué répond à la question posée : ce robot peut-il explorer cette adresse ?

La règle appliquée est l'information la plus utile. Elle affiche la ligne exacte qui décide, ce qui permet de comprendre pourquoi le résultat diffère de votre intention.

Le bloc user-agent retenu précise quel groupe de règles s'est appliqué. Une surprise fréquente : un robot ayant son propre bloc ignore complètement les règles du bloc générique, y compris celles que vous pensiez universelles.

La comparaison entre robots révèle les différences de traitement. C'est là qu'on découvre qu'une section est ouverte à Google et fermée aux robots d'IA, ou l'inverse — le vérificateur d'accès des crawlers IA approfondit ce point.

L'avertissement sur l'indexation apparaît quand une URL bloquée est pourtant susceptible d'être indexée. C'est le rappel que blocage ne signifie pas retrait.

Les erreurs les plus fréquentes

Bloquer pour désindexer. Le malentendu fondamental, qui produit des résultats sans titre ni description. Autorisez l'exploration et utilisez noindex.

Raisonner par l'ordre des lignes. C'est la longueur du chemin qui décide, pas la position dans le fichier. Beaucoup de configurations que l'on croit correctes ne le sont pas.

Ne tester qu'avec Googlebot. Si vous avez défini des blocs spécifiques, chacun obéit à ses propres règles. Comparez au moins les agents qui comptent pour vous.

Tester des chemins et pas des URLs réelles. Les paramètres de requête changent parfois le résultat. Testez les adresses telles qu'elles existent, avec leurs paramètres.

Modifier sans tester ensuite. Google met le fichier en cache environ vingt-quatre heures : une erreur mise en ligne un vendredi soir agit tout le week-end avant même d'être remarquée.

Aller plus loin

Questions fréquentes

Pourquoi une URL bloquée apparaît-elle quand même dans Google ?

Parce que le blocage empêche l'exploration, pas l'indexation. Si Google découvre l'adresse par un lien externe, il peut l'indexer sans jamais lire la page — et l'afficher sans titre utile, avec la mention indiquant qu'aucune information n'est disponible. C'est le résultat le moins souhaitable possible.

Quelle règle gagne quand plusieurs correspondent ?

Celle dont le chemin est le plus long, indépendamment de l'ordre d'écriture. Un Allow sur /dossier/page.html l'emporte sur un Disallow sur /dossier/. À longueur égale, l'autorisation gagne. Cette règle surprend, et c'est pourquoi tester vaut mieux que raisonner.

Les caractères génériques sont-ils reconnus ?

Oui par Google et Bing, mais ils ne font pas partie de la norme d'origine. L'astérisque remplace n'importe quelle suite de caractères, le dollar marque la fin de l'URL. Un Disallow sur /*.pdf$ bloque tous les PDF. D'autres robots, plus rudimentaires, ne les interprètent pas.

Le test vaut-il pour tous les robots ?

Non, et c'est important. Chaque robot ne lit que le bloc user-agent le plus spécifique le concernant, en ignorant totalement le bloc générique. Une URL autorisée pour Googlebot peut être bloquée pour GPTBot, et inversement. Testez chaque agent qui vous intéresse.

Comment retirer correctement une page des résultats ?

En autorisant son exploration et en y plaçant une balise noindex, ou un en-tête X-Robots-Tag. Google doit pouvoir lire l'instruction pour l'appliquer. Une fois la page désindexée, vous pouvez éventuellement la bloquer — mais pas avant.

Mon robots.txt est-il pris en compte immédiatement ?

Google le met en cache environ vingt-quatre heures. Une modification n'est donc pas appliquée dans la minute. En cas d'urgence, la Search Console permet de forcer une relecture du fichier.