Robots.txt 验证与测试工具
粘贴一份 robots.txt 文件，或从在线 URL 获取一份，检查其指令语法是否存在问题，并测试某个特定 URL 路径对于给定的爬虫 user-agent 是被允许还是被阻止。路径测试实现了搜索引擎实际使用的真实匹配算法：无论规则的排列顺序如何，匹配路径最长的 Allow/Disallow 规则获胜。
常见问题
路径测试如何判断允许还是阻止？
它实现了搜索引擎实际使用的真实 robots.txt 匹配算法：在适用于你的 user-agent 的分组中的所有 Allow/Disallow 规则里，匹配路径最长（最具体）的规则获胜，无论规则出现的顺序如何。当 Allow 和 Disallow 的匹配长度相同时，判定结果倾向于 Allow。
路径中的通配符和 $ 符号是什么意思？
「*」匹配任意字符序列，因此「/products/*」匹配任何以 /products/ 开头的路径。末尾的「$」用于锚定路径结尾，因此「/*.pdf$」匹配以 .pdf 结尾的路径，但不匹配类似 /file.pdf.html 这样的路径。
这个工具会标记哪些语法问题？
指令名后缺少冒号、出现在任何 User-agent 行之前的指令、未知指令、空的 Sitemap URL、非数字的 Crawl-delay 值，以及不以斜杠开头的路径——这些都是可能悄无声息地导致规则无法按预期工作的错误类型。
它能帮我获取线上真实的 robots.txt 吗？
可以，切换到「从 URL 获取」，输入你的域名，文件会在服务器端被获取（从而避开浏览器的 CORS 限制），并直接加载到编辑器中供测试。