آموزش بهینه سازی Robots.txt برای سئو
خیلی بدبدمعمولیخوبخیلی عالی

آموزش بهینه سازی Robots.txt برای سئو

آموزش

با سلام خدمت شما کاربران گرامی . امروز آموزش بهینه سازی Robots.txt برای سئو را برای شما عزیزان آماده کرده ایم . در این آموزش میخواهیم یک راه کلی برای بهینه سازی این فایل به شما بگوییم . فایل Robots.txt فایلی است که به بات های موتور جستجو میگوید چه پوشه هایی را بررسی کند یا خیر . بودن این فایل به سئو سایت شما کمک میکند اما اجباری در وجود آن نیست .

آموزش بهینه سازی Robots.txt برای سئو

ساختار کلی فایل Robots به صورت زیر میباشد :

User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
 
User-agent: [user-agent name]
Allow: [URL string to be crawled]
 
 
Sitemap: [URL of your XML Sitemap]

 

شما میتوانید در این فایل بات موتورهای جستجوی مختلف را از هم جدا کرده و دسترسی آنها را به صورت سفارشی محدود کنید . حتی میتوانید به آنها اجازه دسترسی و کراول کردن قسمت های مختلف را بدهید و در نهایت در پایان کار نقشه سایت خود را در آن برای ایندکس کردن لینک های نقشه سایتتان در این فایل معرفی کنید .

به عنوان مثال ما به همه موتورهای جستجو میخواهیم بگوییم که پوشه ادمین ، افزونه ها و فایل های آپلودی را بررسی نکن و در نهایت نقشه سایتمان را به آن معرفی کنیم . کدی که محتوای این فایل را تشکیل میدهد میتوانید مانند زیر باشد :

 

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
 
Sitemap: https://example.com/sitemap_index.xml

 

آیا وجود این فایل برای سایت من ضروری است ؟

همانگونه که در ابتدای مطلب ذکر شد اگر فایل Robots.txt وجود نداشته باشد ، موتورهای جستجو همچنان عملیات خزیدن در سایت شما را اذامه خواهند داد و هیچگونه مشکلی برای سایت شما رخ نخواهد داد اما شما نمیتوانید به موتور جستجو بگویید که کدام قسمت از سایت شما را کراول نکند .

با استفاده از این فایل شما میتوانید به راحتی محتوای سایت خود که کراول خواهد شد را مشخص کنید . اگر سایتتان دارای دو نقشه سایت باشد میتوانید آن را با استفاده از این کد مشخص کنید :

User-agent: *
Disallow:
  
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

برای سفارشی سازی بیشتر و بهتر میتوانید لیست قسمت های مجاز و غیر مجاز برای بات های موتور جستجو را به آن اضافه کنید :

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
 
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

 

نمونه چند نقشه سایتی را میتوانیم در نقشه سایت تولید شده توسط افزونه yoast داشته باشیم . شما میتوانید در افزونه yoast نیز فایل robots.txt خود را ایجاد کنید . تنها کافیست در پنل مدیریت خود از منو سئو گزینه ابزارها را انتخاب کنید . پس از آن گزینه ویرایشگر فایل را انتخاب کنید .

آموزش بهینه سازی Robots.txt برای سئو

آموزش بهینه سازی Robots.txt برای سئو

 

با انتخاب این گزینه در صورتی که فایل robots را داشته باشید به شما اعلام میکند که میتوانید فایل Robots.txt را ایجاد کنید و در غیر اینصورت محتوای فایلتان را نشان داده و به شما امکان ویرایش و ذخیره آن را میدهد .

 

 

در نهایت پس از اتمام کار میتوانید ذخیره را انجام دهید . برای تست کردن فایل robots.txt سایت خود نیز میتوانید از سرچ کنسول گوگل نیز کمک بگیرید .

 

آموزش بهینه سازی Robots.txt برای سئو

آموزش بهینه سازی Robots.txt برای سئو

 

امیدواریم که از آموزش بهینه سازی Robots.txt برای سئو استفاده کافی برده باشید . خوشحال میشویم نظرات خود را با ما در میان بگذارید .

دیدگاه شما عزیزان
  • هنوز دیدگاهی ارسال نشده است.