چطور خطاهای کد وضعیت سرچ کنسول را شناسایی و رفع کنیم؟

محال است که در دنیای وب و سئو مشغول فعالیت باشید، اما گذرتان به گوگل سرچ کنسول نیفتاده باشد. گوگل سرچ کنسول یکی از پرکاربردترین سرویس‌های وب و ابزار دست متخصصان سئو است که امکان نظارت و مدیریت بر حضور وب‌سایت در نتایج جست‌وجوی گوگل را برایمان فراهم می‌کند. با استفاده از این ابزار قدرتمند می‌توانیم خطاهای بالقوه تاثیرگذار بر وب‌سایت را شناسایی کنیم و به رفع آن‌ها بپردازیم. البته این کار مستلزم این است که به‌طور کامل با خطاهای سرچ کنسول آشنا باشیم.

خطاهای کد وضعیت سرچ کنسول چیست؟

خطاهای کد وضعیت (Status code) در گوگل سرچ کنسول به کدهای وضعیت HTTP مربوط می‌شود؛ وقتی که ربات گوگل تلاش می‌کند صفحات وب را خزش و بررسی کند، این خطاها ممکن است به ما نشان داده شود.

با هر بار بارگذاری وب‌سایت، کدهای وضعیت HTTP ارسال می‌شوند. هنگامی که کاربر یک URL را وارد می‌کند یا یک ربات به سایت مراجعه می‌کند، درخواستی به سرور آن سایت ارسال می‌شود. در مقابل، سرور نیز با استفاده از یک کد وضعیت HTTP به مرورگر یا ربات اطلاعات بیشتری درباره آن صفحه می‌دهد.

کدهای وضعیت HTTP اعداد سه رقمی هستند؛ مانند 200، 301 و 404. هرکدام از این کدهای وضعیت اطلاعات مختلفی درباره موفقیت یا شکست یک درخواست ارائه می‌دهند. به‌عنوان مثال، کد وضعیت 200 نشان می‌دهد که همه چیز درست است و صفحه طبق انتظار در دسترس کاربر قرار می‌گیرد.

بااین‌حال، برخی از کدهای وضعیت نشان می‌دهند که مشکلاتی در دسترسی کاربر به صفحه وب ما وجود دارد. این مشکلات به‌صورت خطاهایی در گوگل سرچ کنسول نمایش داده می‌شوند که باید بررسی و رفع شوند؛ زیرا می‌توانند بر توانایی خزنده‌ها و کاربران برای دسترسی به سایت ما تأثیر منفی بگذارند.

کار با ابزارهای مختلف سرچ کنسول را در کارگاه سرچ کنسول به‌خوبی می‌آموزیم و کاربرد آن‌ها را به‌طور کامل بررسی می‌کنیم.

راه مشاهده خطاهای کد وضعیت سرچ کنسول

برای بررسی خطاهای کد وضعیت، گوگل سرچ کنسول را باز می‌کنیم و از منوی سمت چپ روی گزینه «Pages» کلیک می‌کنیم. در این بخش، صفحات وب‌سایت به دو دسته «ایندکس شده» و «ایندکس نشده» تقسیم شده‌اند.

در برخی از موارد، ایندکس نشدن صفحات به‌دلیل وجود یک خطای کد وضعیت است. با اسکرول کردن صفحه در بخش «Why pages aren’t indexed» می‌توانیم دلیل ایندکس نشدن صفحات را مشاهده کنیم.

در ادامه به بررسی رایج‌ترین خطاهای سرچ کنسول برای کدهای وضعیت را بررسی می‌کنیم و روش‌های رفع خطا را یاد می‌گیریم.

1. خطای سرور (5xx)؛ عدم دسترسی ربات‌های گوگل به وب‌سایت

خطاهای سرور در دسته خطاهای کد وضعیت (Status Code) قرار می‌گیرند که به کدهای وضعیت HTTP و وجود مشکل در سرور میزبان وب‌سایت اشاره دارند. این خطاها زمانی رخ می‌دهند که ربات‌های گوگل در خزش و رتبه‌بندی صفحات وب‌سایت با مشکل مواجه می‌شوند. به‌طور کلی، سه نوع مختلف از خطاهای سرور وجود دارد که همگی با 5 شروع می‌شوند:

• 500: خطای 500 یک «خطای داخلی سرور» است و به ما می‌گوید مشکلات فنی باعث تأخیر در پردازش درخواست توسط سرور شده‌اند. از جمله دلایل بروز خطای 500 می‌توان به مشکلات کدنویسی در سیستم مدیریت محتوا (CMS) و کد PHP نادرست در وب‌سایت اشاره کرد.
• 502: خطاهای 502 که با نام خطاهای دروازه نامناسب (Bad gateway) نیز شناخته می‌شوند، نشان می‌دهند که درخواست ما به دلیل عدم پاسخ‌گویی سرویس بالادستی به تاخیر افتاده است. سرویس بالا دستی می‌تواند روی همان ماشین یا یک ماشین کاملاً متفاوت در حال اجرا باشد. بنابراین در صورت مواجهه با خطای 502 می‌توانیم به وجود مشکل در سیستم مدیریت محتوا مانند وردپرس پی ببریم.
• 503: خطای 503 از در دسترس نبودن سرویس خبر می‌دهد. ممکن است سرور بیش از حد مشغول باشد یا به‌دلیل عملیات تعمیر و نگهداری کاملا از دسترس خارج شده باشد؛ در چنین شرایطی دسترسی ربات‌های گوگل به وب‌سایت به طول می‌انجامد و با انتظار بیش از حد ربات برای دسترسی به وب‌سایت، خطای 5xx رخ می‌دهد.

راه را برای خزش ربات‌های گوگل باز کنید!

برای رفع ارورهای 5xx سرچ کنسول، باید اقدامات زیر را انجام دهیم:

• مرور تغییرات اخیر: اگر خطای 5xx بعد از به‌روزرسانی‌ها یا تغییرات اخیر در وب‌سایت رخ داده است، باید مسیر تغییرات را بررسی کنیم تا اصل مشکل را بیابیم.

• تماس با ارائه‌دهنده هاست: برای رفع خطای سرچ کنسول در سمت سرور می‌توانیم با ارائه‌دهنده زیرساخت تماس بگیریم و از آن‌ها برای شناسایی و رفع مشکل کمک بخواهیم.

• تست منابع سرور: باید مطمئن شویم که سرور ما منابع کافی (از جمله CPU، حافظه و فضای ذخیره‌سازی) برای رسیدگی به ترافیک و درخواست‌های وب‌سایتمان را دارد. درصورت لزوم، نیاز به ارتقای سرور داریم.

بعد از شناسایی و رفع علت خطای سرور 5xx، باید از طریق گوگل سرچ کنسول برای خزش یا کراول دوباره صفحات آسیب‌دیده درخواست دهیم. برای این کار فقط کافی است URL مورد نظر را مطابق با تصویر زیر در کادر جست‌وجوی بالای سرچ کنسول وارد کنیم.

سپس گزینه «REQUEST INDEXING» را فشار دهیم.

پیشنهاد می‌کنیم برای درک عمیق‌تر مفهوم “بودجه خزش” سری به مقاله بودجه خزش چیست بزنید. همین‌طور می‌توانید کتاب زمستان سرد ایندکس را نیز به صورت رایگان دانلود کرده و مطالعه کنید.

2. خطاهای Not Founded (404)

خطای «404 Not Found» یک کد پاسخ استاندارد HTTP است و زمانی برگردانده می‌شود که سرور نتواند محتوای مربوط به URL درخواستی را پیدا کند. اگر در گوگل سرچ کنسول با خطای 404 مواجه شویم، به این معناست که ربات گوگل تلاش کرده است صفحه‌ای از سایت ما را خزش و بررسی کند، اما محتوای آن را پیدا نکرده است.

از جمله رایج‌ترین دلایل خطای 404 می‌توانیم به موارد زیر اشاره کنیم:

• حذف صفحه: اگر صفحه‌ای را عمدا حذف کرده باشیم و ربات گوگل در تلاش برای خزش آن صفحه باشد، سرور خطای 404 را برمی‌گرداند.
• تغییر URL بدون ریدایرکت مناسب: اگر ساختار URL وب‌سایتمان را بدون ریدایرکت‌های مناسب (مانند ریدایرکت 301) تغییر داده باشیم، URLهای قدیمی ممکن است منجر به خطای 404 شوند.
• اشتباه تایپی در URL: ممکن است اشتباهی در تایپ URL به بات گوگل رخ داده باشد. در این شرایط باید مطمئن شویم که URLهای موجود در سایت‌مپ و لینک‌های داخلی صحیح هستند و به صفحات موجود هدایت می‌شوند.

چگونه خطای 404 را در گوگل سرچ کنسول رفع کنیم؟

در صورت مواجهه با خطای 404 در گوگل سرچ کنسول، چندین اقدام می‌توانیم انجام دهیم که عبارت‌اند از:

• ریدایرکت 301: اگر صفحه‌ای را به‌طور دائمی به آدرس جدیدی منتقل کرده‌ایم، باید از ریدایرکت 301 برای هدایت URL قدیمی به صفحه جدید استفاده کنیم.
• به‌روزرسانی لینک‌های داخلی: اگر در وب‌سایت ما لینک‌هایی به صفحات حذف‌شده وجود دارد، باید آن‌ها را با لینک‌های معتبر و فعال جایگزین کنیم. این لینک‌ها را می‌توانیم با استفاده از ابزارهایی مانند Site Audit از Semrush بیابیم.
• بررسی لینک‌های خارجی: اگر وب‌سایت‌های خارجی به صفحات غیرموجود در سایت ما لینک داده‌اند، می‌توانیم با آن‌ها تماس بگیریم و از آن‌ها درخواست کنیم که لینک‌هایشان را به‌روزرسانی کنند.
• ارسال سایت‌مپ: باید مطمئن شویم که سایت‌مپ ما به‌روز است و ساختار فعلی وب‌سایتمان را به‌درستی نشان می‌دهد؛ سپس سایت‌مپ را به گوگل سرچ کنسول ارسال کنیم. 

در مقاله نقشه سایت چیست یاد می‌گیریم که چطور با کمک سایت مپ می‌توانیم به خزنده‌های گوگل مسیر و برنامه‌ای برای خزش سایت خود بدهیم.

3. خطای Soft 404؛ خطایی که گوگل را گیج می‌کند!

خطای Soft 404 زمانی رخ می‌دهد که یک صفحه شبیه یک صفحه عادی به نظر می‌رسد و کد وضعیت 200 را برمی‌گرداند، اما وجود محتوا یا سیگنال‌های خاصی در صفحه نشان می‌دهد که باید مانند یک صفحه غیرقابل دسترس با آن رفتار شود.

این تعارض در وضعیت نمایش صفحه روی نحوه ایندکس شدن و نمایش صفحات وب‌سایت تاثیر می‌گذارد و سرچ کنسول آن را به‌عنوان یک خطا شناسایی می‌کند. از جمله دلایل احتمالی برای نمایش ارور soft 404 در سرچ کنسول می‌توانیم به موارد زیر اشاره کنیم:

• • صفحات خالی: صفحات خالی یا با محتوای بسیار کم ممکن است باعث ایجاد خطاهای Soft 404 شوند. درحالی‌که سرور کد وضعیت «200 OK» را برمی‌گرداند، فقدان محتوا نشان می‌دهد که صفحه اطلاعات معنی‌داری به کاربران ارائه نمی‌دهد.
  • صفحات ریدایرکت‌شده: اگر یک صفحه به URL دیگری ریدایرکت شود، اما محتوای URL مقصد ضعیف یا نامربوط باشد، گوگل ممکن است آن را به‌عنوان یک خطای Soft 404 تفسیر کند.
  • صفحات خطای سفارشی: وجود صفحه خطای سفارشی که به کاربر پیام خطا نمایش می‌دهد، حتی اگر کد وضعیت «200 OK» را برگرداند، ممکن است باعث بروز خطای Soft 404 شود.

• استفاده از برچسب در وردپرس: در صورت ایجاد یک تگ جدید در وردپرس، به‌صورت خودکار یک URL جدید ساخته می‌شود که گوگل می‌تواند آن را پیدا کند، مخصوصا اگر URL برچسب به‌طور خودکار به نقشه سایت اضافه شود. ربات گوگل این URL را به‌عنوان یک آدرس معتبر کراول می‌کند، اما چون هیچ محتوایی ندارد و برای کاربران مفید نیست، خطای Soft 404 را نمایش می‌دهد.

راه‌حل رفع خطای Soft 404 در سرچ کنسول

برای رفع خطای سرچ کنسول Soft 404 ابتدا صفحات خالی را پیدا کرده و سناریوهای احتمالی را بررسی می‌کنیم. برای این کار چند راه‌حل وجود دارد که عبارت‌اند از:

• بررسی محتوای صفحه مورد نظر: محتوای صفحه با ارور Soft 404 را از نظر کاربردی بودن اطلاعات بررسی می‌کنیم. در صورت غنی نبودن محتوا، باید آن را بهبود بخشیم یا کاربران را به یک صفحه مرتبط‌تر هدایت کنیم.

• بررسی ریدایرکت‌ها: اگر صفحه‌ای را ریدایرکت کرده‌ایم، باید مطمئن شویم که URL مقصد حاوی محتوای مرتبط است.

• بررسی صفحات خطای سفارشی: اگر در وب‌سایت از صفحات خطای سفارشی استفاده می‌کنیم، باید مطمئن شویم که این صفحات اطلاعات مفید ارائه می‌دهند و به‌عنوان صفحات خالی یا نامربوط شناخته نمی‌شوند.

4. خطای درخواست غیرمجاز یا Unauthorized Request (401)

خطای درخواست غیرمجاز (Unauthorized Request) با کد وضعیت HTTP 401 در گوگل سرچ کنسول به این معناست که ربات گوگل نمی‌تواند به صفحه دسترسی پیدا کند. در این حالت ممکن است کاربران بدون مشکل از صفحه ما بازدید کنند، اما ربات گوگل قادر به کراول و ایندکس کردن آن نباشد. 

رایج‌ترین دلیل نمایش خطای 401 سرچ کنسول این است که فایروال یا سیستم‌های داخلی سایت ربات گوگل را مسدود کرده‌اند. علاوه‌بر این، وجود محتوای محافظت‌شده با رمز عبور در صفحه یا تنظیم اشتباه پیکربندی‌های خاص برای خزنده‌ها می‌توانند باعث محدودیت دسترسی خزنده‌ها به صفحات وب‌سایت شوند.

علت مسدود شدن ربات گوگل را بیابید!

برای یافتن علت مسدود شدن ربات گوگل از روش‌های زیر می‌توانیم استفاده کنیم:

• بررسی تنظیمات احراز هویت: اگر صفحه به احراز هویت نیاز دارد (برای مثال، باید برای مشاهده محتوا وارد شویم)، تنظیمات احراز هویت را بررسی می‌کنیم و از پیکربندی درست آن مطمئن می‌شویم.
• تست دسترسی: از طریق مرورگر یا با ابزارهایی مانند Fetch as Google در گوگل سرچ کنسول دسترسی به صفحات آسیب‌دیده را به‌صورت دستی آزمایش می‌کنیم. این کار به شناسایی مشکلات دسترسی کمک می‌کند.
• بررسی محدودیت‌های دسترسی: هرگونه مسدودیت IP یا محدودیت‌های دسترسی در سرور یا وب‌سایت خود را بررسی می‌کنیم. باید مطمئن شویم که آدرس‌های IP ربات گوگل مسدود نشده‌اند و مجوزهای لازم برای خزیدن در سایت وجود دارد.

پس از رفع مشکل دسترسی غیرمجاز، از گوگل سرچ کنسول برای درخواست کراول کردن دوباره صفحات آسیب‌دیده استفاده می‌کنیم.

5. خطای ممنوعیت دسترسی (403)

خطای 403 در وب‌سایت به این معناست که سرور درخواست را درک کرده، اما دسترسی خزنده یا مرورگر به صفحه مورد نظر را به دلیل محدودیت‌های دسترسی رد کرده است. به بیان دیگر، اگر مرورگر یا خزنده گوگل برای دسترسی به صفحه مجوزهای لازم را نداشته باشد، خطای 403 نمایش داده می‌شود. در صورت مواجهه با خطای ممنوعیت دسترسی می‌توانیم مشکل را در موارد زیر جست‌وجو کنیم:

• وجود خطا در فایل .htaccess: اگر فایل .htaccess به‌درستی پیکربندی نشده باشد، ممکن است دسترسی به صفحات مسدود شود. در این حالت باید فایل .htaccess را غیرفعال کرده و یک فایل جدید ایجاد کنیم.
• مشکل در پلاگین‌های وردپرس: پلاگین‌های معیوب وردپرس می‌توانند منجر به ایجاد خطای 403 شوند. برای رفع این مشکل، می‌توانیم پلاگین‌های خود را یکی یکی غیرفعال کنیم تا پلاگین معیوب را بیابیم. سپس پلاگین مورد نظر را به‌روزرسانی و دوباره نصب می‌کنیم.
• آدرس IP اشتباه: اگر دامنه به آدرس IP نادرستی اشاره کند، ممکن است خطای 403 رخ دهد. برای رفع این مشکل، باید A record دامنه را از طریق ارائه‌دهنده دامنه بررسی و اصلاح کنیم.
• آلودگی به بدافزار: اگر هیچ‌یک از موارد بالا دلیل خطا نباشند، ممکن است سایت ما به بدافزار آلوده شده باشد. در این صورت باید وب‌سایت خود را برای یافتن نشانه‌های آلودگی به بدافزار اسکن کنیم.

گوگل سرچ کنسول؛ ابزار دست متخصصان حرفه‌ای سئو

خطاهای وضعیت گوگل سرچ کنسول، وضعیت نمایش صفحات وب‌سایت به کاربران را نشان می‌دهند؛ هرگونه مشکلی هنگام بازدید از وب‌سایت به کاربران می‌تواند روی تجربه آن‌ها از وب‌سایت ما تاثیر منفی بگذارد. همین مورد را می‌توان یکی از مهم‌ترین عوامل کلیدی رتبه‌بندی وب‌سایت برای گوگل دانست که به‌طور مستقیم روی سئوی سایت ما نیز تاثیرگذار است.

ازهمین‌رو آشنایی کامل با فضا و ابزارهای گوگل سرچ کنسول به ما کمک می‌کند تا در سریع‌ترین زمان ممکن خطاهای مختلف را شناسایی و مشکلات فنی سایت را برطرف کنیم. با استفاده از همین ابزار ساده، اما کاربردی می‌توانیم تغییرات مورد نیاز برای رشد پایدار سئو را اعمال کنیم و مسیر بهبود رتبه‌بندی وب‌سایت را هموار سازیم.

اگر آشنایی کافی با گوگل سرچ کنسول ندارید، اصلا نگران نباشید! ما در آکادمی وبسیما همراه شما هستیم تا در کارگاه سرچ کنسول صفر تا صد ابزارهای مختلف را با یکدیگر یاد بگیریم و در دنیای رقابتی سئو به یک مهارت ضروری و ارزشمند دست پیدا کنیم.