با سلام خدمت شما کاربران گرامی . امروز آموزش بهینه سازی Robots.txt برای سئو را برای شما عزیزان آماده کرده ایم . در این آموزش میخواهیم یک راه کلی برای بهینه سازی این فایل به شما بگوییم . فایل Robots.txt فایلی است که به بات های موتور جستجو میگوید چه پوشه هایی را بررسی کند یا خیر . بودن این فایل به سئو سایت شما کمک میکند اما اجباری در وجود آن نیست .
آموزش بهینه سازی Robots.txt برای سئو
ساختار کلی فایل Robots به صورت زیر میباشد :
User-agent: [user-agent name] Disallow: [URL string not to be crawled] User-agent: [user-agent name] Allow: [URL string to be crawled] Sitemap: [URL of your XML Sitemap]
شما میتوانید در این فایل بات موتورهای جستجوی مختلف را از هم جدا کرده و دسترسی آنها را به صورت سفارشی محدود کنید . حتی میتوانید به آنها اجازه دسترسی و کراول کردن قسمت های مختلف را بدهید و در نهایت در پایان کار نقشه سایت خود را در آن برای ایندکس کردن لینک های نقشه سایتتان در این فایل معرفی کنید .
به عنوان مثال ما به همه موتورهای جستجو میخواهیم بگوییم که پوشه ادمین ، افزونه ها و فایل های آپلودی را بررسی نکن و در نهایت نقشه سایتمان را به آن معرفی کنیم . کدی که محتوای این فایل را تشکیل میدهد میتوانید مانند زیر باشد :
User-Agent: * Allow: /wp-content/uploads/ Disallow: /wp-content/plugins/ Disallow: /wp-admin/ Sitemap: https://example.com/sitemap_index.xml
آیا وجود این فایل برای سایت من ضروری است ؟
همانگونه که در ابتدای مطلب ذکر شد اگر فایل Robots.txt وجود نداشته باشد ، موتورهای جستجو همچنان عملیات خزیدن در سایت شما را اذامه خواهند داد و هیچگونه مشکلی برای سایت شما رخ نخواهد داد اما شما نمیتوانید به موتور جستجو بگویید که کدام قسمت از سایت شما را کراول نکند .
با استفاده از این فایل شما میتوانید به راحتی محتوای سایت خود که کراول خواهد شد را مشخص کنید . اگر سایتتان دارای دو نقشه سایت باشد میتوانید آن را با استفاده از این کد مشخص کنید :
User-agent: * Disallow: Sitemap: http://www.example.com/post-sitemap.xml Sitemap: http://www.example.com/page-sitemap.xml
برای سفارشی سازی بیشتر و بهتر میتوانید لیست قسمت های مجاز و غیر مجاز برای بات های موتور جستجو را به آن اضافه کنید :
User-Agent: * Allow: /wp-content/uploads/ Disallow: /wp-content/plugins/ Disallow: /wp-admin/ Disallow: /readme.html Disallow: /refer/ Sitemap: http://www.example.com/post-sitemap.xml Sitemap: http://www.example.com/page-sitemap.xml
نمونه چند نقشه سایتی را میتوانیم در نقشه سایت تولید شده توسط افزونه yoast داشته باشیم . شما میتوانید در افزونه yoast نیز فایل robots.txt خود را ایجاد کنید . تنها کافیست در پنل مدیریت خود از منو سئو گزینه ابزارها را انتخاب کنید . پس از آن گزینه ویرایشگر فایل را انتخاب کنید .
با انتخاب این گزینه در صورتی که فایل robots را داشته باشید به شما اعلام میکند که میتوانید فایل Robots.txt را ایجاد کنید و در غیر اینصورت محتوای فایلتان را نشان داده و به شما امکان ویرایش و ذخیره آن را میدهد .
در نهایت پس از اتمام کار میتوانید ذخیره را انجام دهید . برای تست کردن فایل robots.txt سایت خود نیز میتوانید از سرچ کنسول گوگل نیز کمک بگیرید .
امیدواریم که از آموزش بهینه سازی Robots.txt برای سئو استفاده کافی برده باشید . خوشحال میشویم نظرات خود را با ما در میان بگذارید .
