Validador y probador de robots.txt
Pega un archivo robots.txt o recupera uno desde una URL en vivo, haz revisar la sintaxis de sus directivas para detectar problemas, y comprueba si una ruta de URL específica estaría permitida o bloqueada para un user-agent de rastreador dado. La prueba de ruta implementa el algoritmo de coincidencia real que usan los motores de búsqueda: la regla Allow/Disallow más larga gana, sin importar el orden de las reglas.
Preguntas frecuentes
¿Cómo decide la prueba de ruta si está permitida o bloqueada?
Implementa el algoritmo de coincidencia robots.txt real que usan los motores de búsqueda: entre todas las reglas Allow/Disallow del grupo que aplica a tu user-agent, la regla con la ruta coincidente más larga (más específica) gana, sin importar el orden en que aparecen las reglas. Un empate entre un Allow y un Disallow de igual longitud se resuelve a favor de Allow.
¿Qué significan los símbolos comodín y $ en una ruta?
«*» coincide con cualquier secuencia de caracteres, así que «/products/*» coincide con cualquier ruta que empiece con /products/. Un «$» al final ancla el final de la ruta, así que «/*.pdf$» coincide con rutas que terminan en .pdf pero no con algo como /file.pdf.html.
¿Qué problemas de sintaxis señala esto?
Dos puntos faltantes después de un nombre de directiva, directivas que aparecen antes de cualquier línea User-agent, directivas desconocidas, URLs de Sitemap vacías, valores de Crawl-delay no numéricos, y rutas que no empiezan con una barra - el tipo de errores que pueden hacer silenciosamente que una regla no funcione como se pretende.
¿Esto obtiene mi robots.txt en vivo por mí?
Sí, cambia a «Obtener desde URL», introduce tu dominio, y el archivo se obtiene del lado del servidor (evitando restricciones CORS del navegador) y se carga directamente en el editor para pruebas.