أداة فحص واختبار robots.txt
الصق ملف robots.txt أو اجلب واحدًا من رابط مباشر، وتحقق من صياغة توجيهاته بحثًا عن مشاكل، واختبر ما إذا كان مسار رابط معين سيكون مسموحًا أو محظورًا لـ user-agent معين لمحرك بحث. يطبّق اختبار المسار خوارزمية المطابقة الحقيقية التي تستخدمها محركات البحث: تفوز أطول قاعدة Allow/Disallow مطابقة، بغض النظر عن ترتيب القواعد.
الأسئلة الشائعة
كيف يحدد اختبار المسار المسموح من المحظور؟
يطبّق خوارزمية مطابقة robots.txt الحقيقية التي تستخدمها محركات البحث: من بين كل قواعد Allow/Disallow في المجموعة التي تنطبق على user-agent الخاص بك، تفوز القاعدة ذات المسار المطابق الأطول (الأكثر تحديدًا)، بغض النظر عن ترتيب ظهور القواعد. يُحسم التعادل بين Allow وDisallow بنفس الطول لصالح Allow.
ماذا تعني رموز العلامة النجمية و $ في المسار؟
«*» تطابق أي تسلسل من الأحرف، لذا «/products/*» تطابق أي مسار يبدأ بـ /products/. أما «$» في النهاية فترسّخ نهاية المسار، لذا «/*.pdf$» تطابق المسارات المنتهية بـ .pdf لكن ليس شيئًا مثل /file.pdf.html.
ما مشاكل الصياغة التي يرصدها هذا؟
النقطتان المفقودتان بعد اسم التوجيه، توجيهات تظهر قبل أي سطر User-agent، توجيهات غير معروفة، روابط Sitemap فارغة، قيم Crawl-delay غير رقمية، ومسارات لا تبدأ بشرطة مائلة - أنواع الأخطاء التي قد تجعل قاعدة ما لا تعمل كما هو مقصود دون أي تنبيه.
هل يجلب هذا ملف robots.txt الفعلي الخاص بي؟
نعم، انتقل إلى «جلب من رابط»، أدخل نطاقك، ويُجلب الملف من جهة الخادم (متجنبًا قيود CORS في المتصفح) ويُحمَّل مباشرة في المحرر للاختبار.