Générateur de robots.txt

Qu’est-ce qu’un fichier robots.txt ?

Le fichier robots.txt se place à la racine d’un domaine et indique aux robots quelles parties du site ils peuvent demander. C’est un fichier texte composé de groupes : une ou plusieurs lignes User-agent nommant un robot, suivies de lignes Allow et Disallow nommant des chemins. Le format tient là-dedans.

Pendant vingt-cinq ans, ce fut une convention et non une norme, d’où le folklore qui l’entoure. Cela a changé en septembre 2022, avec sa publication comme RFC 9309, le protocole d’exclusion des robots. Disposer d’une véritable spécification signifie que des questions autrefois tranchées à l’opinion se règlent désormais par une citation, et ce générateur la suit.

Le point le plus utile à comprendre est que robots.txt contrôle l’exploration et non l’indexation, et qu’il s’agit d’une requête et non d’une barrière. Les robots bien élevés la respectent. Rien n’arrête un robot mal élevé, et le fichier est public : ce n’est donc pas l’endroit où énumérer les chemins que vous tenez le plus à garder discrets.

Comment l’utiliser

1. Renseignez le robot et les chemins. Laissez l’astérisque pour vous adresser à tous les robots, ou nommez-en un pour écrire des règles qui ne valent que pour lui. Disallow accepte un chemin par ligne, et Allow sert aux exceptions à l’intérieur d’un chemin bloqué. Les raccourcis fournissent un point de départ pour tout autoriser, tout bloquer ou bloquer quelques chemins.
2. Modifiez ou collez directement dans la zone de sortie. Le fichier produit est modifiable, et vous pouvez le remplacer entièrement par un robots.txt que vous possédez déjà. Tout ce qui figure sous la zone lit son contenu, si bien que le testeur fonctionne aussi bien sur un fichier que cet outil n’a pas écrit.
3. Testez une vraie URL. Saisissez un chemin et le nom d’un robot : l’outil répond autorisée ou bloquée, puis nomme la règle qui a tranché, sa longueur en octets et le groupe appliqué. C’est cette partie qui mérite un coup d’œil, car la règle qui tranche est rarement celle que l’on croit.

Ce que la norme dit vraiment, et ce qu’elle ne dit pas

La RFC 9309 définit exactement trois directives : User-agent, Allow et Disallow. La liste est complète. Crawl-delay n’y figure pas, Host non plus. Sitemap ne fait pas davantage partie du protocole, même si la spécification la cite comme exemple d’enregistrement que les robots peuvent choisir d’interpréter, raison pour laquelle cet outil l’écrit en la signalant comme extension et non comme directive.

Il n’y a donc ici aucun champ Crawl-delay, et c’est délibéré. Google a déclaré sans détour qu’il ignore cette ligne, et elle est absente de la norme : un générateur qui vous la propose vous remet quelque chose qui ressemble à une limite de débit sans en être une. Si votre fichier la contient déjà, collez-le et l’outil la listera dans le contenu du fichier, marquée comme absente de la norme. Rien n’est masqué, mais rien n’est inventé non plus.

L’inverse mérite aussi d’être connu, et surprend davantage. On croit généralement que l’astérisque et le dollar sont une extension de Google. Ils sont dans la norme : l’astérisque correspond à zéro caractère ou plus, et le dollar marque la fin du motif. Les directives que tout le monde tient pour standard ne le sont donc pas pour l’essentiel, tandis que la syntaxe que tout le monde tient pour non standard l’est.

C’est la règle la plus longue qui tranche, pas la première

Lorsque plusieurs règles correspondent à une URL, la spécification est catégorique : c’est la correspondance la plus spécifique qui doit l’emporter, et la plus spécifique est celle qui compte le plus d’octets. L’ordre dans le fichier n’entre pas en ligne de compte. Ainsi Disallow barre a suivi de Allow barre a barre b autorise /a/b/c, le Allow pesant quatre octets contre deux au Disallow. C’est le malentendu le plus répandu au sujet de robots.txt, et c’est pourquoi le testeur affiche la règle qui tranche et sa longueur plutôt qu’un simple verdict.

Si un Allow et un Disallow exactement de même longueur correspondent tous les deux, la norme veut que le Allow l’emporte. L’outil le signale explicitement le cas échéant, car deux règles de longueur égale pointant en sens contraire trahissent le plus souvent un fichier qui dit autre chose que ce que son auteur voulait.

Deux autres règles piègent les gens, et elles vont en sens inverse. Les noms de robots se comparent sans tenir compte de la casse : Googlebot et googlebot désignent le même groupe. Les chemins se comparent en tenant compte de la casse : Disallow barre Admin ne fait rien contre /admin. Un même fichier, deux règles différentes sur les majuscules. Dans le même ordre d’idées, lorsque plusieurs groupes nomment le même robot, la norme impose de fusionner leurs règles en un seul groupe au lieu de retenir le premier.

Enfin, une règle qui ne correspond pas n’est pas une règle qui bloque. Si aucune ne correspond, l’URL est autorisée, et une ligne Disallow vide signifie précisément cela : tout autoriser. Un groupe dépourvu de règles ne dit strictement rien, et c’est pourquoi ce générateur écrit un Disallow vide explicite lorsque vous lui demandez de tout autoriser.

Limites honnêtes

La limite la plus importante ne tient pas à cet outil mais au fichier lui-même. Disallow empêche un robot de demander une page ; il ne retire pas cette page des résultats de recherche. Une URL liée depuis ailleurs peut continuer d’apparaître, sans description, précisément parce qu’on a dit au robot de ne pas la regarder. Pour sortir une page d’un index, il faut qu’elle reste explorable et porte une instruction noindex, ou qu’elle disparaisse. La bloquer dans robots.txt est exactement ce qui garantit que l’instruction ne sera jamais lue.

Ce n’est pas non plus un contrôle d’accès. Le fichier est lisible par n’importe qui à une adresse prévisible : y inscrire un chemin sensible revient à l’annoncer. Ce qui ne doit vraiment pas être atteint réclame une authentification, pas une demande polie.

Un comportement mérite d’être connu avant de toucher à un fichier en production, et presque personne ne le connaît. Si robots.txt renvoie un 404, le robot peut accéder à tout, ce qui est le cas indulgent. S’il renvoie une erreur 5xx du serveur, la norme impose au robot de supposer un blocage complet. Autrement dit, un robots.txt parfaitement correct hébergé sur un serveur qui passe une mauvaise journée se lit, pour un robot conforme, comme si le site entier était bloqué. C’est une défaillance de déploiement et non de syntaxe, et aucun validateur ne peut vous en avertir.

Cet outil examine par ailleurs un fichier isolé. Il ne peut pas vous dire si les chemins saisis existent, si votre serveur sert réellement le fichier à la racine, ni comment se comporte en pratique tel robot particulier, car la norme laisse une marge appréciable et les robots s’en servent. Il applique ce que la RFC spécifie et, là où un robot va au-delà, il le dit plutôt que de deviner.

Pourquoi est-ce gratuit ?

Parce que du texte entre et du texte sort. Aucun serveur dans la boucle et rien à télécharger : l’analyseur, le comparateur et le générateur s’exécutent dans votre navigateur, si bien que rien de ce que vous saisissez ou collez n’est envoyé, journalisé ni conservé. Votre robots.txt est un fichier public, mais le reste de l’arborescence de votre site qui apparaîtrait dans la zone voisine ne l’est pas, et il ne quitte pas la page.

Il n’y a donc ni compte, ni inscription, ni rien de réservé. Le moteur et les vérifications qui l’attestent se trouvent dans le dépôt, à côté de la page, y compris un balayage exhaustif de 248 248 combinaisons de motif et de chemin face à un comparateur indépendant, sans un seul écart.