Robots.txt-Validator & -Tester
Fügen Sie eine robots.txt-Datei ein oder holen Sie eine von einer Live-URL, lassen Sie die Direktiven-Syntax auf Probleme prüfen, und testen Sie, ob ein bestimmter URL-Pfad für einen gegebenen Crawler-User-Agent erlaubt oder blockiert wäre. Der Pfadtest implementiert den tatsächlichen Abgleichsalgorithmus, den Suchmaschinen verwenden: Die längste übereinstimmende Allow/Disallow-Regel gewinnt, unabhängig von der Reihenfolge der Regeln.
Häufig gestellte Fragen
Wie entscheidet der Pfadtest zwischen erlaubt und blockiert?
Er implementiert den tatsächlichen robots.txt-Abgleichsalgorithmus, den Suchmaschinen verwenden: Unter allen Allow/Disallow-Regeln in der Gruppe, die auf Ihren User-Agent zutrifft, gewinnt die Regel mit dem längsten (spezifischsten) übereinstimmenden Pfad, unabhängig von der Reihenfolge, in der die Regeln erscheinen. Ein Gleichstand zwischen einem Allow und einem Disallow gleicher Länge wird zugunsten von Allow aufgelöst.
Was bedeuten die Platzhalter- und $-Symbole in einem Pfad?
„*“ entspricht jeder beliebigen Zeichenfolge, sodass „/products/*“ jedem Pfad entspricht, der mit /products/ beginnt. Ein abschließendes „$“ verankert das Ende des Pfads, sodass „/*.pdf$“ Pfaden entspricht, die auf .pdf enden, aber nicht etwas wie /file.pdf.html.
Welche Syntaxprobleme werden markiert?
Fehlende Doppelpunkte nach einem Direktivennamen, Direktiven, die vor jeder User-agent-Zeile erscheinen, unbekannte Direktiven, leere Sitemap-URLs, nicht-numerische Crawl-delay-Werte und Pfade, die nicht mit einem Schrägstrich beginnen - die Art von Fehlern, die eine Regel stillschweigend nicht wie beabsichtigt funktionieren lassen können.
Holt das Tool meine Live-robots.txt für mich?
Ja, wechseln Sie zu „Von URL abrufen“, geben Sie Ihre Domain ein, und die Datei wird serverseitig abgerufen (wodurch Browser-CORS-Beschränkungen vermieden werden) und direkt in den Editor zum Testen geladen.