Désormais, le rapport robots.txt est disponible dans la Search Console de Google de tous

Nouveau rapport Robots.txt dans Google Search Console : Comprendre et résoudre les problèmes d’indexation

Google a ajouté un rapport robots.txt dans la Search Console. Parallèlement, il a supprimé le testeur robots.txt. 

Dans cet article, vous découvrirez quelles nouvelles informations vous pouvez consulter, et quels problèmes vous pouvez résoudre dans la Search Console grâce à ce changement. 

Qu’est-ce que le fichier robots.txt ?

Le robots.txt¹ est un fichier créé par le propriétaire du site internet. Il indique quelles URL ou quels répertoires de votre site ne doivent pas être explorés par les robots de Google. 

Le fichier robots.txt aide les propriétaires de sites web à mieux gérer leur apparition en ligne. Il n’empêche pas l’apparition à proprement parler de la page internet, mais bloque son exploration. Bien renseigné, il contribue à une meilleure optimisation de votre site internet. 

Le fichier robots.txt peut être utilisé en complément avec d’autres fonctionnalités dans la Search Console de Google. Dans ces cas-là, il servira à contrôler vos apparitions en ligne, ainsi que leur pertinence pour la recherche. 

Quelles informations obtenez-vous avec le nouveau rapport robots.txt ?

• Les informations de base sur les fichiers robots.txt
• Les fichiers robots.txt des 20 meilleurs hébergeurs de votre site internet
• La date de dernière exploration de ces fichiers
• Les avertissements et les erreurs, ainsi que leur suivi en temps réel

En résumé, vous pouvez mieux synchroniser vos informations du robots.txt. 

Où trouver le nouveau rapport robots.txt dans la Search Console de Google ?

• Ouvrir la Search Console de Google
• Aller aux paramètres
• Retrouvez la colonne robots.txt
• Ouvrez le rapport détaillé
• Consultez l’aperçu

Comment résoudre les problèmes d’exploration et d’indexation liés au nouveau rapport robots.txt ?

• Consultez le nouveau rapport robots.txt²
• Demandez la réexploration³ du fichier robots.txt
• Consultez les informations utiles sur le fichier robots.txt dans le rapport d’indexation
• Tirez les premières conclusions

Les conditions pour demander la réexploration du fichier robots.txt

1. Vous souhaitez informer rapidement Google de certains changements (modifications des règles du robots.txt ou le déblocage d’URL importantes)
2. Vous souhaitez que Google prenne des mesures supplémentaires⁴ (erreurs critiques ou erreurs de récupération)

La fonctionnalité de réexploration du fichier robots.txt est disponible dans l’interface. Cliquez sur les 3 points devant chaque incident répertorié et cliquez sur le bouton “Request a recrawl” qui s’affiche. 

Google avertit que ce n’est pas nécessaire de demander une nouvelle analyse. Son robot étant régulier pour l’exploration des pages, cette requête ne sera utile qu’en cas de problème ou si vous êtes pressé. 

A retenir   

Désormais disponible dans la Search Console de Google, le rapport robots.txt donne plus d’informations en plus de vos indicateurs habituels. Il cible les interactions entre les robots et les fichiers, en indiquant entre autres :

• Les fichiers robots.txt des 20 meilleurs hébergeurs de votre site internet
• La date de dernière exploration de ces fichiers
• Les avertissements et les erreurs
• Des informations utiles sur le fichier robots.txt dans le rapport d’indexation

“Si vous ne pouvez pas le mesurer, vous ne pouvez pas l’améliorer”, affirme Kelvin. Concernant la précision du nouveau rapport robots.txt, nous pouvons affirmer que Google a le compas dans l’œil. 

Références

1. robots.txt, Search Console Help. Consulté le 25 mars 2024. ↩︎
2. robots.txt report, Search Console Help. Consulté le 25 mars 2024. ↩︎
3. Update your robots.txt file, Google Search Central. Consulté le 25 mars 2024. ↩︎
4. Google Released Robot.txt Report in Google Search Console, cmlabs News. Publié le 29 novembre 2023. Consulté le 25 mars 2024. ↩︎