×
خانه » آموزش ها » آموزش ساخت فایل robots txt در وردپرس
27 ژانویه 2020

آموزش ساخت فایل robots txt در وردپرس

فایل Robots.txt چیست

یک فایل txt ساده هست که دسترسی موتورهای جستجو و ایندکس کردن همه یا قسمتی از محتوای سایت شما را محدود می کند در واقع این فایل به ما کمک می کند تا از ایندکس شدن صفحاتی مثل بخش مدیریت یا صفحات که ارزشی از لحاظ سئو ندارند جلوگیری کنیم. فایل Robots.txt در ریشه اصلی سایت قرار میگیرد تا برای موتورهای جستجو قابل شناسایی باشد.

هنگامی که ربات های موتورهای جستجو به سایت ما می رسند اول از همه این فایل را باز می کنند و دسترسی های موجود در آن را مطالعه می کنند و طبق آن دستور ها شروع به ایندکس کردن صفحات سایت ما می کنند. اگر ایندکس شدن صفحات سایت مان مهم نمی باشد قرار دادن این فایل هم اجباری ندارد فقط می توانید برای کمتر شدن error های مربوط به درخواست این فایل از سرور می توانید آن را قرار دهید.

آموزش ساخت فایل robots.txt

دستوراتی که در این فایل قرار میگیرند به شرح زیر می باشد :

User-agent : شما با این دستور نوع ربات را معین می کنید.

Disallow : آدرس صفحه ایی که قرار است موتورهای جستجو آن را ایندکس نکنند .

اسم همه ربات ها را می توانید از آدرس زیر بدست آورید :

http://www.robotstxt.org/db.html

User-agent: *
Disallow: /admin/

منظور از * یعنی همه ربات های موتورهای جستجویی که از قانون فایل robots.txt پیروی می کنند و منظور از خط دوم این است که پوشه admin در دایرکتوری را ایندکس نکنند.

محدود کردن فایل ها :

User-agent: *
Disallow: /private.png

برای محدود کردن یک ربات خاص که اسامی آن در لینک بالا مشاهده کردید :

User-Agent: Googlebot

Disallow: /folder2/

برای دسترسی کامل ربات ها به همه صفحات دستورات زیر که در حالت پیشفرض هم همینطور هست :

User-agent: *
Allow: /

برای مسدود کردن همه صفحات برای همه ی ربات هایی که به قوانین فایل robots.txt پایبندند :

User-agent: *
Disallow: /

اعمال محدودیت در صفحات

برای اینکه برای یک صفحه خاص محدودیت هایی را اعمال کنید دستورات زیر را بکار ببرید :

<meta name=”robots” content=”noindex” />

مثال :

<meta name=”googlebot” content=”noindex” />

نمایش صفحات محدود شده در گوگل وب مستر

شما همچنین می توانید در قسمت crawl > robots.txt Tester صفحاتی که با استفاده از فایل robots.txt محدود شده اند را مشاهده کنید و از درست کار کردن فایل robots.txt اطمینان حاصل کنید.

نمایش صفحات محدود شده در گوگل وب مستر

نمایش صفحات محدود شده در گوگل وب مستر

علیرضا

یک وردپرس کار دوست داشتنی :)

پاسخی بگذارید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *