أداة مجانية
اختبار
مولّد robots.txt ومختبره المجاني (مع زواحف الذكاء الاصطناعي)
ابنِ ملف robots.txt يسمح أو يحجب GPTBot وClaudeBot وPerplexityBot وGoogle-Extended وغيرها، ثم اختبر أي مسار قبل النشر.
زواحف الذكاء الاصطناعي
حجب زاحف تدريب لا يمنع الظهور في البحث، لكن حجب زاحف بحث قد يمنع الاقتباس. راجع كل قرار عن قصد.
ملف robots.txt
اختبار
تعمل الأداة بالكامل في متصفحك ولا ترسل ما تكتبه إلى أي خادم.
كيف تستخدمها
- اختر إعدادًا جاهزًا ثم بدّل كل زاحف بين السماح والحجب.
- أضف أي مسارات لا يجب أن يزورها أي زاحف ورابط خريطة موقعك.
- اختبر مسارًا على زاحف لتتأكد من النتيجة قبل النشر.
- احفظ الملف باسم robots.txt في جذر نطاقك.
ما يجب مراعاته
- يتحكم robots.txt في الزحف لا الفهرسة. قد يظهر رابط محجوب إن ربطت إليه صفحات أخرى.
- لا يلتزم كل زاحف به، فهو طلب لا تحكم بالوصول.
- يتبع المختبر قاعدة أطول تطابق الشائعة، لكن راجع التغييرات المهمة في Search Console.
- تتغير أسماء الزواحف بمرور الوقت، فراجع القائمة مع توثيق كل مزود.
أسئلة شائعة
هل أحجب زواحف الذكاء الاصطناعي؟
يعتمد على أهدافك. حجب زواحف التدريب مع السماح لزواحف البحث مسار وسط شائع، لكن حجب زواحف البحث قد يوقف الاقتباس.
هل يؤثر Google-Extended على بحث جوجل؟
لا. تقول جوجل إنه لا يؤثر في الظهور أو الترتيب في بحث جوجل، بل يتحكم في استخدام المحتوى في تدريب جيميني وربط إجاباته بالمصادر (Grounding).
أين يوضع robots.txt؟
في جذر كل مضيف مثل example.com/robots.txt. وتحتاج النطاقات الفرعية ملفها الخاص.