گوگل راهنما سئوی خود را برای کدهای HTTP، مشکلات شبکه ای و خطاهای DNS منتشر کرد
راهنمای رسمی گوگل در رابطه با اینکه چگونه مشکلات شبکه ای بر روی سرچ گوگل شما تاثیر می گذارند و مسیر صحیح بهینه سازی آن ها
تا به حال به این موضوع فکر کرده اید که چگونه عملکرد کدهای HTTP، شبکه یا DNS میتوانند بر روی عملکرد سایت شما در نتایج جستجوی گوگل تاثیر بگذارد؟ اخیرا گوگل در همین راستا راهنمایی منتشر کرده است که به شما کمک میکند از نحوه ی تاثیرگذاری این عوامل بر روی سایت خود در نتایج جستجو مطلع شوید.
۱- کدهای HTTP
. کدهای ۲xx
. کدهای ۳xx
. کدهای ۴xx
. کدهای ۵xx
۲- خطاهای شبکه
۳- خطاهای DNS
مهم ترین وضعیت های HTTP
۱- تعداد تلاش برای بررسی یک وضعیت : گوگل ۱۰ مرتبه تلاش برای خواندن محتوای روی ریدایرکت های Redirect شما میکند سپس در صورت عدم موفقیت URL شما را با خطای ریدایرکت در سرچ کنسول در نظر میگیرد.
۲- ریدایرکت ۳۰۱ و ۳۰۲: به گفته گوگل ریدایرکت ۳۰۱ دارای یک سیگنال قوی است که هدف از آن انتقال دائمی و همیشگی محتوا به شمار می رود ، درحالیکه ریدایرکت ۳۰۲ یک سیگنال ضعیف است که هدفش یک انتقال موقت است.
۳- وضعیت کد ۲۰۰ : تضمین میکنند که صفحه را وارد لاین ایندکسینگ خواهند کرد اما این مسئله را تضمین نمایش صفحه در نتایج جستجو نیست .
چرا این مسئله مهم است؟
به این علت که گوگل قبلا تا این حد با جزئیات راجع به کدهای HTTP و خطاهای شبکه و DNS صحبت نکرده بود. اما اخیرا با جزئیات تمام سندی منتشر کرده است و در آن از تاثیر این عوامل بر روی عملکرد سایت شما در نتایج جستجو گفته است که میتوانید از آن استفاده کنید.
پس قطعا تاثیر این خطاها به مراتبط بیشتر خواهد بود ، لذا ادامه محتوا رو با دقت مطالعه بفرمایید و حتما در اختیار تیم های سئو خود قرار دهید.
فراموش نکنید شما در بخش سرچ کنسول گوگل بسیار از این خطاها رو می تونید مشاهده کنید و سپس درخواست ارزیابی مجدد کنید از گوگل برای رفع آن ها .
جدید ترین خبر سمت سرچ کنسول گوگل ، لانچ گوگل سرچ کنسول اینسایت بتا بوده است اگر هنوز درباره آن اطلاعی ندارید ما تحلیل متخصر و کاربردی در بارش نوشته ایم.
در تصویر زیر به صورت بصری تاثیر کدهای وضعیت کدهای HTTP را بر روی سئو وبسایت به تفکیک ، کاربر ، خزنده گوگل ، و تاثیر بک لینک می بینید ، برای درک بهتر مفاهیم به صورت انفوگرافیک تاثیر وضعیت های مختلف بررسی شده
منبع :
https://moz.com/blog/an-seos-guide-to-http-status-codes
چگونه کدهای HTTP و خطاهای شبکه یا دی ان اس میتوانند در سرچ گوگل تاثیر داشته باشند؟
در این مبحث میخواهیم درباره ی تاثیر کدهای HTTP، خطای شبکه و خطای DNS بر روی نتایج سرچ گوگل صحبت کنیم. درواقع میخواهیم ۲۰ کد برتری که ربات گوگل در وب با آنها مواجه میشود و همینطور برجسته ترین خطاهای شبکه و DNS را بررسی کنیم. ناگفته نماند که به کدهای عجیبی مثل کد ۴۱۸ من قوری هستم نمیپردازیم.
کدهای پایه HTTP
کدهای پایه HTTP کدهایی هستند که توسط سرورهای سازنده سایت ساخته میشوند و به درخواست مشتریان (Client) برای مثال مرورگرها، پاسخ میدهند. هر کدام از کدهای HTTP معنی های متفاوتی دارند ولی در اغلب مواقع خروجی پاسخشان یکی است. برای مثال چندین کد پایه وجود دارند که به هنگام ریدایرکت شدن هشدار میدهند اما نتیجه نهایی آنها یکسان است.
سرچ کنسول اخطارهایی برای کدهای پایه در بازهی ۴XX-5XX و ریدایرکت های ناموفق (۳XX) ارسال میکند.
اگر سرور با کد ۲XX پاسخ دهد محتوای آن برای ایندکسینگ indexing در نظر گرفته میشود.
نکته: توجه کنید که کد HTTP 2XX ایندکس شدن صفحه را تضمین نمیکند.
-
رنج کد وضعیت ۲XX (موفق):
گوگل محتوا را برای ایندکس شدن در نظر میگیرد. اگر محتوا دارای خطایی باشد مثلا سرچ کنسول با صفحه خالی و یا پیام اخطار مواجه شود، چنین پیامی را نمایش خواهد داد soft 404 eror یا همان ۴۰۴ نرم.
-
۲۰۰ (موفق): ربات گوگل محتوا را وارد مسیر ایندکسینگ indexing میکند.
-
۲۰۱ (ساخته شده): بخش ایندکسینگ ممکن است محتوا را ایندکس کند اما تضمینی هم برای آن وجود ندارد.
-
۲۰۲ (تایید شده): ربات گوگل برای مدتی منتظر محتوا میماند سپس هرچیزی که وارد مجرای ایندکسینگ شود را منتقل میکند. مدت زمان تعیین شده به عوامل کاربری بستگی دارد برای مثال زمان تعیین شده برای ربات گوگل مخصوص تلفن های هوشمند smatphone با ربات گوگل مخصوص عکس image تفاوت دارد.
-
۲۰۴ (بدون محتوا): ربات گوگل به قسمت ایندکسینگ به علت دریافت نکردن هیچگونه محتوایی، هشدار میدهد. در این راستا سرچ کنسول خطای soft 404 error را بر روی سایت Index Coverage report نشان میدهد.
-
رنج کد وضعیت ۳xx (ریدایرکتها):
ربات گوگل تا ۱۰ مورد ریدایرکت را دنبال میکند. اگر مرورگر در این ۱۰ مورد محتوایی نیابد، سرچ کنسول خطای ریدایرکت redirect error را در سایت Index Coverage نشان خواهد داد. تعداد موردهایی که ربات گوگل دنبال میکند هم به عوامل کاربری بستگی دارد برای مثال این تعداد در GoogleBot smartphone با تعداد آن در GoogleBot Image یکسان نیست.
نکته: درمورد رباتهای txt، گوگل حداقل ۵ مورد را با توجه به RFC 1945 دنبال میکند سپس متوقف میشود و همانند کد ۴۰۴ با ابن رباتها برخورد میکند.
-
۳۰۱ (انتقال دائمی): ربات گوگل ریدایرکت را دنبال میکند و از آن بعنوان یک سیگنال قوی در جهت ایندکسینگ استفاده میکند. نکته مهم این است که این ریدایرکت باید قانونی و معتبر باشند.
-
۳۰۲ (یافته شده) & 303 (مورد دیگری): ربات گوگل ریدایرکت را دنبال میکند و از آن بعنوان یک سیگنال ضعیف در جهت ایندکسینگ استفاده میکند. مجددا در این قسمت هم این ریدایرکت باید قانونی و معتبر باشد.
-
۳۰۴ (اصلاح نشده): وقتی ربات گوگل متوجه میشود که محتوا قبل و بعد از ایندکس شدن یکسان بوده و تغییری در آن ایجاد نشده، هشدار میدهد. قسمت ایندکسینگ این هشدارها را برای URL باز تعریف میکند، در غیر این صورت کدهای پایه تاثیری روی ایندکس کردن نخواهند داشت.
-
۳۰۷ (ریدایرکت موقتی): همانند کد ۳۰۲
-
۳۰۸( انتقال همیشگی): همانند کد ۳۰۱
نکته: وقتی جستجوگر گوگل با همه این کدها به شیوه یکسانی رفتار میکند، بخاطر داشته باشید که از نظر معنایی متفاوت هستند. سعی کنید از کدهایی استفاده کنید که مناسب ریدایرکت های شما هستند تا مخاطبان دیگر ( مثل خوانندگان متون الکترونیکی، موتورهای جستجوی دیگر) هم از آنها سود ببرند.
-
رنج کد وضعیت ۴xx (خطاهای Client):
قسمت ایندکسینگ گوگل URL هایی را که از طریق کد ۴xx بازگردانده میشوند، در نظر نمیگیرد و URL هایی که قبلا ایندکس شده اند و با کد ۴xx برگردانده شده اند را نیز از ایندکس حذف میکند.
-
۴۰۰ ( درخواست بد) & 401 ( غیر مجاز): با تمام اخطار های کد ۴xx به جز ۴۲۹ به طور یکسان برخورد میشود: ربات گوگل به قسمت ایندکسینگ هشدار میدهد که محتوایی وجود ندارد.
-
۴۰۳ (ممنوع): ایندکسینگ URL را که قبلا ایندکس شده است، حذف میکند. اگر اخیرا با صفحات ۴۰۴ مواجه شده باشند هم پردازش نمیشوند. بنابراین روند جستجو کم کم کاهش مییابد.
-
۴۰۴ (یافت نشده) / ۴۱۰ (از دسترس خارج شده) / ۴۱۱ ( طول موردنیاز): برای محدود کردن تعداد درخواست ها از سمت گوگل از کدهای ۴۰۱ و ۴۰۳ استفاده نکنید. کدهای ۴xx به جز ۴۲۹ هیچ تاثیری بر روی تعدا درخواست ها ندارند. چگونگی محدود کردن این درخواست ها در اینجا ببینید.
-
۴۲۹ ( درخواست های خیلی زیاد): ربات گوگل کد ۴۲۹ را سیگنالی مبنی بر بارگذاری بیش از حد تلقی میکند و این موضوع خطای سرور محسوب میشود.
-
رنج کد وضعیت ۵xx (خطای سرور):
خطاهای سرور ۵xx و ۴۲۹ باعث کاهش سرعت مرورگر میشوند.. URL هایی که قبلا ایندکس شده اند هم کم کم کاهش مییابند.
نکته: اگر robots.txt ها خطای سرور را پس از ۳۰ روز باز گردانند، گوگل از آخرین نسخه ذخیر شده robots.txt استفاده خواهد کرد. در صورت عدم دسترسی، گوگل تصور خواهد کرد که هیچ محدودیتی برای درخواست ها وجود ندارد.
-
۵۰۰ (خطای داخلی سرور) / ۵۰۲ ( ورودی بد) / ۵۰۳ ( سرویس خارج از دسترس): ربات گوگل درخواست هایش به سایت را محدود میکند. کاهش تعداد درخواست ها متناسب با URL هایی است که خطای سرور را برمیگردانند. از این رو قسمت ایندکس، URL ایندکس هایی را که دائما خطای سرور را برمیگردانند، حذف میکند.
خطاهای شبکه و خطاهای DNS
خطاهای شبکه و DNS به سرعت تاثیرات منفی بر روی URLهای موجود در نتایج جستجوی گوگل دارند. ربات گوگل با وقفه های شبکه، اتصال مجدد و خطاهای DNS مشابه با خطای سرور کد ۵xx رفتار میکند. درصورت بروز خطای شبکه درخواست های ارسالی کمتر میشوند، زیرا خطای شبکه نشانهایست در رابطه با اینکه سرور توانایی بارگذاری ندارد. URL هایی که قبلا ایندکس شده اند و اکنون در دسترس نیستند از لیست ایندکس حذف خواهند شد. ممکن است سرچ کنسول هم برای هر خطا اخطارهای جداگانه ای در نظر بگیرد.
رفع اشکال خطاهای شبکه
قبل از اینکه گوگل شروع به مرور URLها بکند این خطاها رخ میدهند. درحالیکه خطاها قبل از اینکه سرور بتواند واکنشی نشان دهد، اتفاق میافتند و هیچ کد پایه ای برای رهایی از این مشکل وجود ندارد تشخیص و رفع آنها بسیار چالش برانگیز است. رفع اشکال از وقفه زمانی و اتصال مجدد به این شکل است:
- تنظیمات و لاگ های فایروال Firewall را چک کنید: ممکن است تعدادی قوانین بلاک شده داشته باشید.
- ترافیک شبکه را چک کنید: از ابزارهایی مانند tcpdump و Wireshark برای آنالیز بسته های TCP استفاده کنید و دنبال مورد عجیبی که به شبکه اشاره دارد بگردید.
- اگر چیز خاصی پیدا نکردید با شرکت هاستینگ تماس بگیرید.
این خطا ممکن است در هر بخشی از سرور که ترافیک شبکه را کنترل میکند، باشد. برای مثال ممکن است رابط های شبکه حامل بسته هایی باشند که باعث ایجاد وقفه زمانی (عدم برقراری اتصال) و بازگردانی اتصالات شود ( وقتی درگاهی به اشتباه بسته میشود برای حل مشکل بسته های RST ارسال میشوند.)
رفع اشکال خاطاهای DNS
خطاهای DNS معمولا به علت اشتباه در پیکربندی اتفاق میافتد. برای رفع اشکال خطاهای DNS کارهای زیر را انجام دهید:
- تاریخچه(رکوردهای) DNS خود را چک کنید: به دقت بررسی کنید که A و CNAME به آدرسهای IP درستی اشاره دارند.
- مطمئن شوید که نیم سرورهای شما به IP های درست سایتتان متصل شده باشند.
- اگر تغییراتی در DNS های ایجاد کردید معمولا ۷۲ ساعت زمان می ببرد در شبکه های جهانی (IPS اینترنت پروایدرها) منتشر شود
- اگر DNS شخصی خودتان بر روی سرور قرار دارد از سلامت و سنگین نبودن آن اطمینان حاصل کنید.
مشاوره توسعه کسب و کار اینترنتی
با تکیه بر دانش تخصصی بروز و تجربه +۹ سال در حوزه کسب و کارهای اینترنتی و اعتبار تاییده های بین المللی به توسعه کسب و کار اینترنتی خود فکر کنید
نتیجه گیری
درنهایت حالا با انتشار این داکیومنت درمورد نحوه بخورد با کدهای وضعیت HTTP و تاثیر آن های روی سئو وبسایت ، بیشتر از هر زمان دیگه ای اهمیت اصلاح مشکلات سمت وضعیت های ذکر شده وجود داره ؛ حتما این سند رو در اختیار تیم سئو خودتون قرار بدید و ازشون گزارش وضعیت فعلی کد ها رو بخواید تا در سریع ترین زمان موارد مشکل دار اصلاح بشه تا به رتبه ها و جایگاه های قعلی شما در اپدیت های آتی صدمه وارد نشه
ممنون می شم با نظرات خودتون هم ما رو حمایت کنید و هم جهت دهی مثبت به روند تعامل دو سویه ما داشته باشید
منابع:
https://developers.google.com/search/docs/advanced/crawling/http-network-errors
Koorosh Heydari
Digital Marketing Consultant
Author