Validateur et testeur de robots.txt
Collez un fichier robots.txt ou récupérez-en un depuis une URL en direct, faites vérifier la syntaxe de ses directives pour détecter des problèmes, et testez si un chemin d'URL spécifique serait autorisé ou bloqué pour un user-agent de crawler donné. Le test de chemin implémente l'algorithme de correspondance réel utilisé par les moteurs de recherche : la règle Allow/Disallow la plus longue l'emporte, quel que soit l'ordre des règles.
Questions fréquentes
Comment le test de chemin décide-t-il autorisé ou bloqué ?
Il implémente l'algorithme de correspondance robots.txt réel utilisé par les moteurs de recherche : parmi toutes les règles Allow/Disallow du groupe qui s'applique à votre user-agent, la règle avec le chemin correspondant le plus long (le plus spécifique) l'emporte, quel que soit l'ordre d'apparition des règles. Une égalité entre un Allow et un Disallow de même longueur est résolue en faveur d'Allow.
Que signifient les symboles joker et $ dans un chemin ?
« * » correspond à n'importe quelle séquence de caractères, donc « /products/* » correspond à tout chemin commençant par /products/. Un « $ » final ancre la fin du chemin, donc « /*.pdf$ » correspond aux chemins se terminant par .pdf mais pas à quelque chose comme /file.pdf.html.
Quels problèmes de syntaxe cela signale-t-il ?
Deux-points manquants après un nom de directive, directives apparaissant avant toute ligne User-agent, directives inconnues, URLs Sitemap vides, valeurs Crawl-delay non numériques, et chemins qui ne commencent pas par une barre oblique - le genre d'erreurs qui peuvent silencieusement empêcher une règle de fonctionner comme prévu.
Cela récupère-t-il mon robots.txt en direct pour moi ?
Oui, passez à « Récupérer depuis une URL », entrez votre domaine, et le fichier est récupéré côté serveur (évitant les restrictions CORS du navigateur) et chargé directement dans l'éditeur pour les tests.