سلام به همگی دوستان در آی وحید .طبق درخواست بچه های گل و خود آقا وحید تصمیم گرفتم دیگه به انتظار این مطلب برای قسمت دوم مطلب آموزش بهینه سازی فایل robots.txt افزایش سئو پایان بدم و مطلب قسمت جدید رو منتشر کنم . توی قسمت قبلی درباره ی فایل robots.txt صحبت کردیم ، و نیاز آن را برای سایت شما بیان کردیم . اکنون میرویم به سراغ ادامه ی آموزش :
آموزش بهینه سازی فایل robots.txt افزایش سئو
چگونه از فایل robots.txt استفاده کنیم ؟
قالب بندی این فایل در واقع بسیار ساده است .در اولین خط معمولا نام یک user agent قرار دارد . user agent در واقع نامی است که روبات جستجوگر میخواهد با سایت شما ارتباط برقرار کند ، برای مثال روبات گوگل یا روبات بینگ که با نام های botgoogle , botbing مشخص است . شما میتوانید برای اینکه شامل تمامی روبات ها شود ریسک کنید و از * استفاده کنید .
خطوط بعدی مربوط به اجازه دادن یا ندادن به موتورهای جستجوگر جهت بررسی پوشه های سایت است .
نمونه ای از فایل robots.txt در زیر آمده است :
User-Agent: * Allow: /wp-content/uploads/ Disallow: /wp-content/plugins/ Disallow: /readme.html
در این کد نمونه دستورالعمل برای تمامی موتورهای جستجوگر بوده و به موتور های جستجوگر اجازه ی دسترسی به پوشه uploads داده شده اما دسترسی به پلاگین ها و فایل readme.html داده نشده است .
بهینه سازی فایل robots.txt افزایش سئو
در آموزش های برای وب مستران عزیز ، گوگل به وب مستر ها توصیه میکند که از فایل robots.txt برای مخفی سازی محتواهای با کیفیت کم استفاده نکنید .اگر شما توی این فکر هستید که از فایل robots.txt برای متوقف کردن ایندکس کردن بعضی از دسته های سایتتان ،تاریخ و دیگر صفحات آرشیو استفاده کنید بهتر است به یه چیز دیگه فکر کنید !!
اینو یادتون باشه ، هدف از فایل robots.txt برای ارائه دستورالعمل به روبات ها برای آنالیز و ایندکس کردن سایت شما و مطالبی که ترافیک روی سایت شما ایجاد میکند میباشد . این کار ترافیک ایجاد شده روی وب سایت شما را متوقف نمیکند .
افزونه هایی برای وردپرس میباشد که اجازه میدهد که صفحات را ایندکس یا noindex کنید ، معمولا این کارها رو افزونه های سئو انجام میدهند . برای مثال به تصویر زیر توجه کنید :
توی این تصویر افزونه yoast نصب شده و در صفحه ی تنظیمات میبینید که تنظیمات ایندکس کردن وجود دارد . شما نیاز ندارید که صفحه ی ورود وردپرس ، پوشه ی مدیریت ، صفحه ی ثبت نام را در فایل robots.txt اضافه نکنید ،زیرا صفحه ی ثبت نام و ورود دارای تگ noindex میباشد .
پیشنهاد میشود که فایل readme.html را در فایل robots.txt به صورت disallow تعریف کنید . این کار برای جلوگیری از فهمیدن نسخه ی وردپرس شما توسط افراد فضول میباشد !!!!!!!
یک کم مطالب زیاد شد ، به خاطر همین ادامه ی مطلب رو به قسمت سوم که مطلب نهایی و جمع بندی درباره ی آموزش بهینه سازی فایل robots.txt افزایش سئو موکول میکنیم.
خوشحال شدیم که امروز هم با شما بودیم 🙂
