وبلاگ

نحوه ساخت و پیکربندی فایل robots.txt برای وردپرس (۲)


با دومین قسمت از آموزش ساخت فایل Robots.txt در خدمتتون هستیم .در قسمت قبلی ، قوانین استاندارد Robots Exclusion رو خدمتتون توضیح دادیم ، در این قسمت ، آموزش رو با قوانین غیر استاندارد Robots شروع میکنیم .

قوانین استاندارد رو اکثر جستجوگرها پشتیبانی میکنند اما قوانین استاندارد ، در برخی از جستجو گرهای خاص اجرا نمیشه !‌ و اما این قوانین غیر استاندارد :

  • Allow : اجازه دادن برای بررسی یک فایل و دایرکتوری
  • Sitemap : تعریف مکان نقشه ی سایت شما
  • Crawl-Delay: تعریف تاخیر زمانی بین درخواست های جستجوگر به سرور
  • Host : به مرورگرها توصیه میکند تا از دامین اصلی شما استفاده کند (اگر چنددامنه برای سایت خود داشته باشید)

البته استفاده از این دستورها اجباری نیست و فقط برای اطمینان است ، برای مثال به کد زیر توجه کنید :

اگر با نحوه ساخت Sitemap برای سایت خود آشنا نیستید ، بهتر است این نوشته را بخوانید . شما همچنین میتوانید crawl delay را از طریق اکانت گوگل وبمستر خود نیز تغییر دهید.

تکنیک های پیشرفته فایل Robots.txt

برخی از موتورجستجوهای حرفه ای مانند گوگل و بینگ ، از کدهای حرفه ای تری نیز پشتیبانی میکنند . برای مثال به کد زیر توجه کنید ، کد زیر تمام فایل هایی که در ابتدای نامشان logo باشد ، Exclude خواهد کرد :

برای مثال فایل های logo1.jpg, logo2.jpg. logonew.jpg و …. میتوانید از این ترفند برای پوشه ها نیز استفاده کنید :‌

برای Exclude کردن یک فرمت خاص از فایل ها ،  کافیست به جای نام فایل از * استفاده کنید :

کد بالا ، تمام فایل های PDF را که در پوشه Download هستند را Exclude خواهد کرد ! کد زیر تمام فایل هایی که در نامشان علامت سئوال باشد را Exclude خواهد کرد :

نکته : بهتر است هیچ وقت بیش تر از ۲۰۰ خط Disallow در فایل Robots.txt خود استفاده نکنید !

اگر سئوال یا مشکلی داشتید ، در نظرات مطرح کنید .

 


امیر هستم و سه ساله با وردپرس کار میکنم، دانشجوی مهندسی نرم افزار و توسعه دهنده ی وب هستم. افتخار این رو دارم که در منطقه ی وردپرس، مطالبی رو برای کاربران معمولی و توسعه دهندگان وردپرس قرار بدم.

نمایش دیدگاه ها

six + = thirteen