ساعت‌ها زمان صرف تحقیق کلمات کلیدی، نگارش و انتشار یک مقاله جامع کرده‌اید یا قیمت و موجودی صدها محصول را در سایت فروشگاهی خود به‌روزرسانی کرده‌اید. اما روزها و حتی هفته‌ها می‌گذرد و با جستجوی در گوگل، هیچ اثری از تغییرات یا محتوای جدید خود نمی‌بینید. در این شرایط، احتمالا بارها وارد سرچ کنسول می‌شوید، درخواست ایندکس دستی می‌دهید و با خود فکر می‌کنید کجای کار می‌لنگد؟

این سناریوی آشنا، کابوس بسیاری از صاحبان سایت‌هاست. اما مشکل لزوما از کیفیت محتوای شما نیست؛ بلکه پای یک محدودیت فیزیکی و منطقی در میان است: محدودیت منابع گوگل.

گوگل با وجود تمام عظمتش، نمی‌تواند هر روز تمام صفحات موجود در فضای بی‌کران وب را بازبینی و ایندکس کند. سرورهای گوگل محدودیت دارند و اینجاست که مفهومی حیاتی به نام بودجه خزش (Crawl Budget) وارد بازی می‌شود.

بودجه خزش دقیقا چیست و چگونه تعیین می‌شود؟

برای درک بهتر رفتار ربات‌های گوگل، باید بدانیم که بودجه خزش از ترکیب دو عامل اصلی شکل می‌گیرد:

۱. ظرفیت خزش (Crawl Capacity Limit): گوگل برای هر سایت یک سقف توان در نظر می‌گیرد. این سقف به دو چیز بستگی دارد؛ یکی محدودیت‌های خود سرورهای گوگل و دیگری وضعیت سرور سایت شما. اگر سایت شما کند باشد، زمان لود صفحات طولانی شود یا ربات‌ها مدام با خطاهای سرور (مثل ارور ۵۰۰) مواجه شوند، گوگل متوجه می‌شود که سایت شما توان میزبانی بالایی ندارد. در نتیجه، بودجه خزش شما را کاهش می‌دهد تا فشار بیشتری به سرور سایتتان وارد نکند.

۲. تقاضای خزش (Crawl Demand): این بخش نشان می‌دهد سایت شما چقدر «ارزش» و «نیاز» به خزش روزانه دارد. تقاضای خزش به فاکتورهای متعددی بستگی دارد:

  • حجم و ماهیت صفحات: سایتی با یک میلیون صفحه، طبیعتا به بودجه بسیار بیشتری نسبت به یک سایت صد صفحه‌ای نیاز دارد. البته به شرطی که این صفحات ارزشمند باشند، نه اینکه صرفا صفحات تکراری یا فیلترهای فروشگاه باشند.
  • نرخ انتشار محتوا: اگر هر روز محتوای جدیدی منتشر می‌کنید، گوگل پس از مدتی این الگوی فعالیت را تشخیص داده و بودجه خزش سایت را افزایش می‌دهد تا از تغییرات جا نماند.
  • محبوبیت و ترافیک: صفحاتی که بازدید بالایی دارند (چه از طریق نتایج ارگانیک گوگل، چه شبکه‌های اجتماعی و چه تبلیغات)، برای گوگل در اولویت هستند. گوگل می‌خواهد مطمئن شود محتوای صفحات پرمخاطب همیشه به‌روز است.
  • لینک‌سازی خارجی (Off-Page): دریافت لینک از صفحات معتبر و پربازدید سایت‌های دیگر، به ربات‌های گوگل سیگنال می‌دهد که باید سریع‌تر و بیشتر به سایت شما سر بزنند.

چه زمانی باید نگران بودجه خزش باشیم؟

آیا هر سایتی باید درگیر محاسبه و مدیریت بودجه خزش باشد؟ قطعا خیر. اگر مقالات شما بلافاصله پس از انتشار ایندکس می‌شوند و تغییرات به‌سرعت در نتایج جستجو اعمال می‌گردند، شما مشکل بودجه خزش ندارید. اما مدیریت بودجه خزش برای شما به یک دغدغه جدی تبدیل می‌شود اگر:

  • روزها یا هفته‌ها طول می‌کشد تا یک محتوای جدید یا یک تغییر ساده در سایت شما ایندکس شود.
  • سایت بزرگی با بیش از یک میلیون صفحه دارید که به صورت هفتگی تغییر می‌کنند.
  • سایت متوسطی با بیش از ده‌هزار صفحه دارید که روزانه تغییرات زیادی به خود می‌بینند.
  • در بخش Pages سرچ کنسول، در تب‌های Discovered – currently not indexed و Crawled – currently not indexed با تعداد بسیار بالایی از صفحات مواجه هستید.

ما چگونه می‌توانیم گوگل را راهنمایی کنیم؟

گوگل بر اساس فاکتورهایی که گفتیم، زمان مشخصی را به سایت ما اختصاص می‌دهد (مثلا روزی ۲ ساعت). هنر یک کارشناس سئو این است که این ۲ ساعت طلایی را مدیریت کند تا در بی‌ارزش‌ترین صفحات سایت هدر نرود. ما ابزارهای قدرتمندی برای هدایت ربات‌ها داریم:

  • فایل Robots.txt: مسیرهایی که اصلا نیازی به خزش ندارند را به روی ربات‌ها می‌بندیم.
  • تگ‌های Canonical: وقتی یک محتوا با چند آدرس مختلف (مثلا به دلیل پارامترهای کامنت یا فیلترها) در دسترس است، با کنونیکال به گوگل می‌گوییم نسخه اصلی کدام است تا وقتش را برای پیدا کردن و بررسی نسخه‌های کپی تلف نکند.
  • کدهای وضعیت (۴۰۴ و ۴۱۰): صفحاتی که برای همیشه حذف شده‌اند را صراحتا به گوگل اعلام می‌کنیم تا دیگر به آن‌ها سر نزند. وجود خطاهای Soft 404 (صفحاتی که کد ۲۰۰ می‌دهند اما محتوایی ندارند، مثل دسته‌بندی‌های خالی از محصول) قاتل خاموش بودجه خزش است.
  • نقشه سایت (Sitemap) تمیز: نقشه سایت به گوگل می‌گوید اولویت‌های ما کدام صفحات هستند. یک نقشه سایت به‌روز و بدون خطا، مسیر حرکت ربات‌ها را هموار می‌کند.

معمای صفحات ایندکس نشده؛ سرچ کنسول کافی نیست!

وقتی وارد بخش Pages در سرچ کنسول می‌شویم، اطلاعات ارزشمندی از وضعیت خزش صفحات می‌بینیم. مثلا می‌فهمیم که گوگل صفحه‌ای را پیدا کرده اما تصمیم گرفته آن را ایندکس نکند، یا صفحه‌ای را خزش کرده اما به دلیل تکراری بودن کنار گذاشته است. ابزار URL Inspection هم به ما کمک می‌کند تا وضعیت دقیق یک آدرس خاص را بررسی کنیم، متوجه شویم آخرین بار چه زمانی خزش شده و آیا ارجاعاتی (Referring Pages) از داخل یا خارج سایت دارد یا خیر.

اما یک مشکل بزرگ وجود دارد: وقتی سایت شما هزاران صفحه دارد و در گزارش سرچ کنسول با هزاران خطای Crawled – currently not indexed مواجه می‌شوید، بررسی دستی و تک‌به‌تک این آدرس‌ها غیرممکن است. اینجاست که سرچ کنسول به تنهایی پاسخگو نیست و باید به سراغ یک ترکیب برنده برویم: اتصال اسکریمینگ فراگ به API گوگل سرچ کنسول.

با اتصال این دو ابزار به یکدیگر، شما می‌توانید سایت خود را با اسکریمینگ فراگ کرال کنید و همزمان، اطلاعات سرچ کنسول (مثل کلیک، ایمپرشن، وضعیت ایندکس شدن در گوگل و دلیل عدم ایندکس) را برای تک‌تک آن صفحات دریافت کنید. حالا شما یک جدول کامل دارید که نشان می‌دهد کدام صفحات تگ نو ایندکس دارند، کدام‌ها به دلیل ریدایرکت نادیده گرفته شده‌اند، کدام صفحات پربازدید هستند اما لینک‌سازی داخلی ضعیفی دارند و هزاران دیتای ترکیب‌شده دیگر که تحلیل آن‌ها در یک فایل اکسل، دیدی عمیق و استراتژیک به شما می‌دهد.

محاسبه عددی بودجه خزش؛ یک معیار واقعی برای رشد

یکی از جذاب‌ترین دستاوردهای تلفیق دیتای سایت با ابزارهای آنالیز، امکان محاسبه عددی بودجه خزش است. اما چگونه؟ با بررسی تاریخ آخرین خزش (Last Crawl Date) صفحات در یک بازه زمانی مشخص، می‌توانیم به یک میانگین برسیم.

فرض کنید با آنالیز داده‌ها متوجه می‌شوید که گوگل در ۳۰ روز گذشته، مجموعا ۱۸۰ صفحه از سایت شما را خزش و ایندکس کرده است. با یک تقسیم ساده (۱۸۰ تقسیم بر ۳۰) متوجه می‌شوید که میانگین بودجه خزش سایت شما در حال حاضر ۶ صفحه در روز است.

حالا این عدد چه کمکی می‌کند؟ تصور کنید استراتژی محتوایی شما به‌گونه‌ای است که روزانه ۱۰ مقاله جدید منتشر می‌کنید. وقتی بودجه خزش شما روی عدد ۶ قفل شده باشد، یعنی هر روز ۴ محتوای شما در صف طولانی انتظار باقی می‌ماند و این ترافیک روز‌به‌روز سنگین‌تر می‌شود.

با داشتن این عدد، شما یک معیار قابل اندازه‌گیری (متریک) دارید. حالا می‌توانید با بهبود سرعت سایت، بستن صفحات هرزنامه با Robots.txt، اصلاح لینک‌سازی‌های داخلی و افزایش ترافیک سایت، این بودجه را بهینه‌سازی کنید و ماه آینده دوباره این عدد را محاسبه کنید تا ببینید آیا ظرفیت خزش سایت شما از ۶ صفحه در روز به ۱۰ یا ۱۲ صفحه افزایش پیدا کرده است یا خیر.

درک مکانیزم بودجه خزش و استفاده هوشمندانه از داده‌ها، مرز بین یک سایت سردرگم و سایتی است که با تسلط کامل، مسیر رشد خود را در نتایج جستجو هموار می‌کند. زمانی که یاد بگیرید از دریچه نگاه ربات‌های گوگل به سایت خود نگاه کنید، کنترل ترافیک و جایگاه خود را به دست خواهید گرفت.