Robots.txt वैलिडेटर और टेस्टर
एक robots.txt फ़ाइल पेस्ट करें या किसी live URL से fetch करें, उसके directive syntax की समस्याओं की जांच कराएं, और टेस्ट करें कि दिए गए crawler user-agent के लिए कोई खास URL path allowed होगा या blocked। Path test वही असली matching algorithm लागू करता है जो search engines इस्तेमाल करते हैं: rules के क्रम से बेपरवाह, सबसे लंबा matching Allow/Disallow rule जीतता है।
अक्सर पूछे जाने वाले प्रश्न
Path test allowed बनाम blocked कैसे तय करता है?
यह वही असली robots.txt matching algorithm लागू करता है जो search engines इस्तेमाल करते हैं: आपके user-agent पर लागू होने वाले group के हर Allow/Disallow rule में से, सबसे लंबा (सबसे specific) matching path वाला rule जीतता है, चाहे rules किसी भी क्रम में दिखें। बराबर लंबाई के Allow और Disallow के बीच टाई Allow के पक्ष में सुलझाई जाती है।
path में wildcard और $ symbols का क्या मतलब है?
"*" किसी भी character sequence से मेल खाता है, तो "/products/*" /products/ से शुरू होने वाले किसी भी path से मेल खाता है। अंत में लगा "$" path के अंत को anchor करता है, तो "/*.pdf$" .pdf पर खत्म होने वाले paths से मेल खाता है पर /file.pdf.html जैसी किसी चीज़ से नहीं।
यह कौन-सी syntax समस्याएं flag करता है?
directive नाम के बाद गायब colon, किसी भी User-agent line से पहले आने वाली directives, अनजान directives, खाली Sitemap URLs, non-numeric Crawl-delay values, और वे paths जो slash से शुरू नहीं होते - इस तरह की गलतियां जो चुपचाप किसी rule को इरादे के मुताबिक काम न करने दें।
क्या यह मेरा live robots.txt खुद fetch कर लेता है?
हां, "Fetch from URL" पर जाएं, अपना domain डालें, और फ़ाइल server-side पर fetch की जाती है (browser CORS restrictions से बचते हुए) और टेस्टिंग के लिए सीधे editor में लोड हो जाती है।