یکی از مهمترین مطالب در سئو و دونستن اون خطاهایی هست که در سرچ کنسول گوگل ، بینگ و یا سایر موتورهای جستجو میبینید . ما توی این مطلب قصد داریم درباره خطاهای Crawl توضیح بدیم . Crawl در اصل به معنی خزنده هست و چیزی هست که موتور های جستجو از اون برای بررسی کردن لینک ها و محتوای سایت شما استفاده میکنند . سعی شده مطلب به زبان عامیانه برای شما توضیح داده بشه . پس با ما همراه باشید .

خطاهای Crawl

خطاهای Crawl معمولا زمانی رخ میدهد که موتور جستجو قصد دارد تا یک صفحه از سایت شما را بررسی کند اما در انجام آن به مشکل برمیخورد . بگذارید این قضیه رو کمی براتون بازتر کنیم . عمل Crawl فرآیندی هست که موتور جستجو قصد داره تا هر صفحه وب سایت شما رو با استفاده از یک بات مشاهده کنه . یک بات موتور جستجو یک لینک به وب سایت شما پیدا میکنه و تمام صفحات عمومی شما رو از اون میخونه . علاوه بر لینک های تبلیغاتی تمام لینک هایی که درون صفحات سایت شما هست بررسی میشه . هدف اصلی شما به عنوان یک مدیر وب سایت باید این باشه که کمتر این خطا ها رخ بده . شکست خوردن در بررسی یک صفحه از سایت شما توسط موتور جستجو باعث به وجود آمدن خطاهای Crawl میشه .
شما باید مطمئن بشید که هر لینک درون سایت شما به یک صفحه واقعی هدایت میشه . این ممکنه از طریق ریدایرکت 301 انجام بشه اما در نهایت پیغام برگردانده شده توسط سرور با کد 200 یعنی سالم بودن لینک همراه است .
گوگل خطاهای Crawl رو به دو دسته تقسیم میکنه :

1- خطاهای سایت : شما این ها رو نمیخواهید . به این معنی که محتوای داخل سایت شما در دسترس نیست .
2- خطاهای URL : شما ممکنه اونها را نخواهید اما آنها فقط مربوط به یک لینک خاص میشوند که میتونه راحت تر رفع بشه .

بگذارید بهتر و واضح تر براتون توضیح بدیم :
خطاهای سایت :
خطاهای سایت تمام خطاهایی از Crawl هستند که از دسترسی بات موتور جستجو به وب سایت شما جلوگیری میکنه . که میتونه دلایل زیادی داشته باشه . دلایل اون به صورت زیر هست :

خطاهای DNS :
این بدین معنی است که مموتور جستجو قابل برقراری ارتباط با سرور شما نیست . اون ممکنه داون شده باشه یعنی قابل باز شدن نباشه . که البته یک مشکل موقتی هست . گوگل بعد از مدتی دوباره سایتون رو بررسی میکنه و عملیات خزیدن رو انجام میده . اگه شما داخل سرچ کنسول گوگل خودتون خطای Crawl رو مشاهده کردید این میتونه به این معنی باشه که گوگل چندین بار تلاش کرده اما متاسفانه قادر به دسترسی به وب سایت شما نبوده .

خطاهای سروری :
اگر شما در سرچ کنسول خودتان خطاهای سروری مشاهده کردید به این معنیست که بات موتور جستجو قادر به دسترسی به وب سایت شما نبوده . ممکن است درخواست تایم اوت شده باشد . موتور جستجو تلاش میکند به وبسایت شما وصل شود . اما اون بیش از حد طول میکشه و سرور یک پیغام خطا رمیگرداند . خطاهای سروری زمانی رخ میدهد که مشکلی در کدهای شما وجود داشته باشد که از باز شدن وبسایت و اون صفحه مورد نظر جلوگیری کند . اون همچنین بدین معنی میتونه باشه که تعداد خیلی زیادی کاربر در حال ارسال درخواست برای بازدید وبسایت شما هستند اما متاسفانه سرور نمیتواند همگی آنها را پردازش کنه . خطاهای این چنینی معمولا دارای کد سه رقمی که اول آنها 5 هست میباشد . مثلا 503 یا 500 .

خطاهای روبات :
قبل از عملیات خزیدن ، بات گوگل تلاش میکنه تا به فایل robots.txt شما دسترسی پیدا کنه . این به این دلیل است کهنواحی مجاز جهت بررسی لینک های سایتتون رو مشخص کنه . اگر بات نتونه فایل robots.txt رو باز کنه گوگل عملیات خزیدن رو تا زمانی که فایل robots.txt در دسترس قرار بگیره به عغویق میندازه . بنابراین همیشه مطمئن باشید که این فایل در دسترس هست .
توضیحاتی که دادیم کمی درباره خطاهای مربوط به داخل سایتتون بود . حالا بگذارید بریم سراغ خطاهایی که ممکنه برای صفحات خاص اتفاق بیوفته .

خطاهای URL :
همانطور که در ابتدا اشاره کردیم خطاهای لینکی یا URL جزو دسته خطاهای Crawl هستند که وقتی رخ میدهند که بات موتور جستجو تلاش میکنه تا به یک صفحه خاص از وبسایتتون دسترسی پیدا کنه اما نمیتونه . خطاهای معمولی از این نوع مثل 404 هستند که حالا ممکنه صفحه پاک شده باشه یا لینکش عوض شده باشه .
شما باید این خطاها رو در سرچ کنسول خودتون بررسی کنید و اونها رو حل کنید .
ما خطاهای زیاد این چنینی پیدا کردیم که به دلیل لینک های داخلی بود . بنابرین میشه گفت اگر این خطاها مربوط به همین میشه که شماا ممکنه یک صفحه رو از وبسایتتون حذف کرده باشید ، بعد از اینکار باید لینک های داخلی هممون رو هم حذف کنید . این لینک ها دیگه معنایی ندارند و وقتی یک بات موتور جستجو سعی میکنه تا به لینکم مود نظر بره خطای 404 مشاهده میکنه .
بعضی از خطاهای اینطوری هم ممکنه بخاطر مشکلات دی ان اس باشند که بعد از مدتی حل شوند که برای رفع آنها باید از قسمت fetch as google در سرچ کنسول خودتون استفاده کنید .

خطاهای لینکی خیلی خاص :
این خطاها مربوط به سایت های خاصی میشوند و ممکن است برای شما هم تا حالا رخ نداده باشد .

خطای Mobile-specific URL :
این خطا معمولا باید عمل Crawl کردن صفحه خاصی در گوشی هوشمند رخ میدهد . ممکنه بخاطر محتوای فلش باشه و یا هر چیز دیگه که اون صفحه رو با گوشی های هوشمند امروزی عیر قابل دسترسی کرده باشد .
اگر شما برای گوشی های هوشمند صفحات یا سابدامین خاصی طراحی کرده باشید ممکنه این خطارو بیشتر مشاهده کنید .

خطاهای Malware : اگر شما این خطا رو در سرچ کنسول خودتون در گوگل یا بینگ مشاهده میکنید به این معنی است که این دو موتور جستجو در لینک شما کدهای مخرب پیدا کرده اند که ممکنه به وب سایت بازدیدکننده سایتتون صدمه بزنه . شما باید کد مخرب رو پیدا کنید و سریعا اون رو از وبسایتتون حذف کنید .

Google News errors : بعضی خطاها هستند که ممکنه در مستندات گوگل قرار گرفته باشه و میشه به اون بیشتر به چشم اخبار نگاه کرد که در مورد خطاهای رخ داده توضیح میده . البته باید سعی کنید این رو هم نادیده نگیرید و حتما بررسی کنید تا بعدا دچار مشکل نشوید .

امیدوارم که از مطلب خطاهای Crawl خوشتون اومده باشه و در ارتقاء سئو وبسایتتون از اون استفاده کنید .