Validador e testador de robots.txt
Cole um arquivo robots.txt ou busque um de uma URL em tempo real, verifique a sintaxe de suas diretivas em busca de problemas, e teste se um caminho de URL específico seria permitido ou bloqueado para um determinado user-agent de rastreador. O teste de caminho implementa o algoritmo de correspondência real usado pelos mecanismos de busca: a regra Allow/Disallow mais longa vence, independentemente da ordem das regras.
Perguntas frequentes
Como o teste de caminho decide permitido versus bloqueado?
Ele implementa o algoritmo de correspondência robots.txt real usado pelos mecanismos de busca: entre todas as regras Allow/Disallow do grupo que se aplica ao seu user-agent, a regra com o caminho correspondente mais longo (mais específico) vence, independentemente da ordem em que as regras aparecem. Um empate entre um Allow e um Disallow de mesmo comprimento é resolvido a favor do Allow.
O que os símbolos de curiosidade e $ significam em um caminho?
"*" corresponde a qualquer sequência de caracteres, então "/products/*" corresponde a qualquer caminho que comece com /products/. Um "$" no final ancora o fim do caminho, então "/*.pdf$" corresponde a caminhos que terminam em .pdf, mas não a algo como /file.pdf.html.
Quais problemas de sintaxe isso sinaliza?
Dois-pontos faltando após um nome de diretiva, diretivas que aparecem antes de qualquer linha User-agent, diretivas desconhecidas, URLs de Sitemap vazias, valores de Crawl-delay não numéricos, e caminhos que não começam com uma barra - o tipo de erro que pode silenciosamente fazer uma regra não funcionar como pretendido.
Isso busca meu robots.txt em tempo real para mim?
Sim, mude para "Buscar da URL", digite seu domínio, e o arquivo é buscado no lado do servidor (evitando restrições de CORS do navegador) e carregado diretamente no editor para testes.