Aller au contenu
CheckerGoogleRank English version
  1. Accueil
  2. Technique et performance
  3. Simulateur de crawl

Simulateur de crawl

Voyez votre page telle qu'un robot la découvre, avant toute exécution de JavaScript.

Requête effectuée avec l'agent utilisateur choisi, sans exécution de JavaScript, dans le respect de votre robots.txt. C'est le comportement d'un robot au premier passage. Aucune limite d'usage.

À quoi sert cet outil

Un robot d'indexation ne voit pas ce que vous voyez. Il ne clique pas, n'attend pas les animations, et lors de son premier passage n'exécute pas le JavaScript. Il lit un document texte et en extrait ce qu'il peut.

L'écart avec l'affichage réel peut être total. Sur un site construit entièrement côté client, ce document initial se réduit parfois à une balise vide et un appel de script. La page est magnifique dans un navigateur et vide pour un robot.

Ce simulateur reproduit ce premier passage et vous montre ce qui en ressort : le contenu réellement accessible, la hiérarchie des titres, les liens qu'un robot peut suivre, et les directives d'indexation qu'il reçoit.

Le test qui tranche : cherchez une phrase précise de votre contenu principal dans le résultat. Si elle n'y est pas, votre indexation dépend d'un second passage dont ni le délai ni la survenue ne sont garantis.

Comment lire vos résultats

Le contenu accessible est la sortie principale. C'est le texte qu'un robot peut lire sans exécuter le moindre script. Il devrait contenir l'essentiel de votre page.

La structure des titres révèle la hiérarchie perçue. Un seul H1, des H2 qui découpent logiquement, des H3 subordonnés. Une page sans H1, ou avec six H1, transmet une structure confuse.

Les liens suivables sont ceux qu'un robot peut emprunter pour découvrir d'autres pages. Les liens créés par JavaScript n'y figurent pas : c'est ainsi que des sections entières de site deviennent inaccessibles à l'exploration.

Les directives d'indexation regroupent la balise robots, l'en-tête X-Robots-Tag et la canonique. C'est ici qu'apparaissent les noindex oubliés, première cause de non-indexation.

Les données structurées confirment votre éligibilité aux résultats enrichis. Leur absence n'est pas une faute, mais c'est une opportunité manquée que le générateur de données structurées permet de combler.

Les erreurs les plus fréquentes

Supposer que Google verra le contenu de toute façon. Il le verra peut-être, plus tard. Entre-temps, votre page est indexée vide. Sur un site qui publie régulièrement, ce décalage est un handicap permanent.

Construire la navigation en JavaScript. Un menu qui ne produit pas de vraies balises de lien avec attribut href rend des sections entières indécouvrables. C'est l'un des défauts les plus coûteux et les plus fréquents.

Charger le contenu au défilement sans alternative. Le robot ne fait pas défiler. Tout ce qui n'apparaît qu'après une interaction est invisible. Prévoyez une pagination classique en parallèle.

Ne tester qu'avec l'agent Googlebot. Les robots d'IA sont plus stricts et n'exécutent généralement aucun JavaScript. Si leur visibilité vous intéresse, comparez — le vérificateur d'accès des crawlers IA complète cette analyse.

Oublier de vérifier après une refonte. Le passage à un cadre de développement moderne modifie souvent radicalement ce qu'un robot reçoit, sans que rien ne change à l'écran.

Aller plus loin

Questions fréquentes

Pourquoi mon contenu n'apparaît-il pas dans le résultat ?

Parce qu'il est produit par JavaScript côté navigateur. Le simulateur reproduit le premier passage d'un robot, qui n'exécute pas le JavaScript. Google le fait, mais lors d'une seconde visite au délai variable et sans garantie. Un contenu absent de ce résultat est un contenu dont l'indexation est incertaine.

Google exécute pourtant le JavaScript, non ?

Oui, mais en deux temps. Il explore d'abord le HTML brut, met la page en file d'attente pour un rendu ultérieur, puis revient. Ce délai va de quelques heures à plusieurs semaines selon les ressources allouées à votre site. Les autres moteurs et la plupart des robots d'IA ne le font pas du tout.

À quoi sert de changer l'agent utilisateur ?

À détecter un traitement différencié. Certains serveurs, souvent via un pare-feu applicatif, bloquent les robots ou leur servent une version dégradée. Comparer la réponse obtenue en tant que navigateur et en tant que Googlebot révèle immédiatement ce genre de configuration.

Le simulateur respecte-t-il mon robots.txt ?

Oui, et il vous indique explicitement si l'URL demandée est interdite par vos propres règles. C'est d'ailleurs une information précieuse : découvrir qu'une page importante est bloquée par une directive oubliée explique bien des absences d'indexation.

Que sont les données structurées et pourquoi les vérifier ici ?

Ce sont des blocs JSON-LD qui décrivent le contenu de façon lisible par une machine : un article, un produit, une recette, une FAQ. Elles conditionnent votre éligibilité aux résultats enrichis. Comme elles sont dans le HTML, ce simulateur confirme qu'un robot les voit dès le premier passage.

Quelle différence avec la récupération du code source ?

La récupération du code source vous donne le HTML brut à lire vous-même. Le simulateur interprète ce document du point de vue d'un robot : il extrait la structure des titres, les liens suivables, les directives d'indexation et les données structurées. L'un montre, l'autre analyse.