ساخت robots.txt
فایل robots.txt سایت را با مسیرهای مجاز و ممنوع بسازید.
robots.txt
User-agent: * Disallow: /admin Disallow: /cart Allow: / Sitemap: https://example.com/sitemap.xml
راهنمای استفاده
- 1سیاست کلی سایت را انتخاب کنید.
- 2مسیرهای ممنوع را خطبهخط بنویسید.
- 3خروجی را در فایل robots.txt ریشه سایت بگذارید.
مثالهای کاربردی
نمونه محاسبه
«Disallow: /admin» یعنی رباتها بخش مدیریت را نمیخزند.
پرسشهای متداول
robots.txt کجا قرار میگیرد؟
در ریشه دامنه، یعنی آدرس example.com/robots.txt
آیا Disallow جلوی ایندکس را میگیرد؟
همیشه نه؛ برای جلوگیری قطعی از ایندکس از متا تگ noindex استفاده کنید.