بودجه خزش چیست؟ چطور Crawl Budget را مدیریت کنیم؟

قبل از هر چیز اجازه دهید مکالمه آشنایی که در ذهن خیلی از سئوکارها تکرار می‌شود را به نوشتار تبدیل کنیم:

سئوکار: من هر وقت که محتوای جدیدی تو سایتم می‌زارم یا یک بخشی رو به‌روزرسانی می‌کنم، تازه بعد چند هفته متوجه می‌شم که گوگل این تغییرات رو هنوز ایندکس نکرده!

گوگل: مگه نگفتم بودجه سایت‌ات رو بیهوده سرِ ریدایرکت‌ها و صفحات 404 هدر نده!

سئوکار: کدوم بودجه؟

گوگل: همون بودجه ای که باید برای ایندکس کردن صفحات ازش استفاده می‌کنم، بودجه خزش.

سئوکار: مگه خزش هم بودجه داره؟ از کجا بفهمم چه کارهایی باعث می‌شه بودجه خزش سایتم کم شه؟

این‌جاست که داستان شکل گیری مفهومی به نام Crawl Budget برای ما شروع می‌شود.

بودجه خزش Crawl Budget در سئو چه مفهومی دارد؟

بودجه کراول به تعداد صفحاتی گفته می‌شود که ربات‌های گوگل طی یک دوره زمانی مشخص (مثلاً یک روز) در سایت شما ایندکس می‌کنند. بودجه سایت شما، معمولاً بر اساس بزرگی و تعداد لینک‌های ورودی به آن مشخص می‌شود.

بودجه یا نرخ خزش در واقع میزان توجهی است که خزنده‌های گوگل به سایت شما دارند. این توجه هر‌چه بیشتر باشد، تعداد بیشتری از صفحات سایت شما کراول و ایندکس می‌شوند.

حتماً شما هم دارید به این فکر می‌کنید که چطور بیشترین توجه گوگل را جذب سایت خود کنید… ولی لطفاً هیچ عجله نکنید، بهینه سازی نرخ خزش موضوع جذاب و مهمی است ولی برای درست انجام دادن آن نیاز داریم تا با سازوکار Crawl Budget بیشتر آشنا شویم.

چرا موتورهای جستجو برای سایت‌ها نرخ کراول در نظر می‌گیرند؟

اجازه دهید چند قدم به عقب برداریم و درباره ماموریت اصلی گوگل حرف بزنیم:

رساندن بهترین محتوا به دست کاربر

برای این‌که گوگل بتواند این ماموریت سخت ولی ارزشمند را انجام دهد، نیاز دارد که به هر سایت نمره بدهد و بر اساس این نمره‌بندی، بهترین را انتخاب و در اختیار کاربر قرار دهد. اولین قدم برای نمره دهی چیست؟

اولین قدم این است که گوگل وارد آن سایت‌ها شود (به آن‌ها خزش کند!)

پس می‌توانیم اینطور نتیجه بگیریم که:

اختصاص دادن بودجه برای خزش، گوگل را قادر می‌کند تا بتواند در میزان خزش اولویت بندی کند. هر‌چه این اولویت‌بندی بهتر صورت گیرد، فضای عادلانه تری برای رقابت سایت‌های مختلف در فضای اینترنت به وجود می‌آید.

نظر گوگل در مورد بودجه خزش چیست؟

اجازه دهید با نگاه خود گوگل مفهوم نرخ خزش را برای شما توضیح دهیم:

«اول از هر چیز باید بگم که نرخ خزش موضوعی نیست که باعث نگرانی شما بشه. اگر قرار را بر این بزاریم که محتوا بلافاصله بعد از انتشار کراول و ایندکس می‌شه، پس نگرانی درباره نرخ خزش منطقی نیست.

اگر تعداد صفحات سایت شما به چند صد عدد می‌رسه، کراول شدن کامل این صفحات امری بدیهی و روتینه. اینکه مشخص کنیم چه محتوایی در چه زمانی کراول بشه موضوعیه که باید دغدغه سایت‌های بزرگ با تعداد صفحات بالا باشه.»

گوگل به این توضیح بسنده نکرده و برای موشکافی دقیق‌تر این مفهوم، ما را با دو معیار جدید آشنا می‌کند.

بودجه مورد نیاز هر سایت چطور تعیین می‌شود؟

گوگل با استفاده از دو فاکتور Crawl Limit و Crawl Demand، بودجه مورد نیاز هر سایت را مشخص می‌کند:

1. Crawl limit / host load: منابع سرور سایت ما چه تعداد خزش را می‌تواند تحمل کند؟

همان‌طور که می‌دانید هر بار که گوگل یک صفحه را کراول می‌کند، یک درخواست مبنی بر دسترسی به منابع سایت به سمت سرور فرستاده می‌شود. اگر این درخواست‌ها بیش از حد از طرف ربات‌های گوگل ارسال شود، منابع سرور سایت نمی‌توانند به همه این درخواست‌ها پاسخ دهند و در نتیجه سایت از کار می‌افتد (یا به اصطلاح down می‌شود). گوگل از کجا می‌فهمد ظرفیت خزش سایت ما چقدر است؟ به 2 طریق:

• نشانه‌های باگ سرور: درخواست‌های ربات‌های گوگل مبنی بر خزش چند بار توسط سرور با مشکل روبرو شده اند
• تعداد سایت‌های فعال در هاست: اگر سایت شما در حال اجرا بر روی یکی از هاست‌های اشتراکی است و صدها سایت دیگر فعال در این‌هاست وجود دارند و سایت شما از نظر محتوا و صفحات بزرگ است، در این صورت نرخ کراول شما محدودیت زیادی خواهد داشت.

اگر در این گروه قرار دارید، بهتر است از هاست‌های اختصاصی استفاده کنید تا هم نرخ خزش شما افزایش پیدا کند و هم سرعت لود صفحات بهبود داده شود.

       2. Crawl demand / crawl scheduling: کدام یک از صفحات، ارزش کراول شدن (یا دوباره کراول شدن) را دارد؟

این ارزش بر اساس فاکتورهای زیر اندازه‌گیری می‌شود:

• محبوبیت صفحه: چه تعداد لینک داخلی و خارجی با کیفیت به این صفحه داده شده و در چه تعداد عبارت کلیدی جایگاه دارد؟
• تازگی محتوا: محتوای صفحه چند وقت یک‌بار به‌روزرسانی می‌شود
• نوع صفحه: برای مثال صفحه دسته بندی را با صفحه شرایط و ضوابط مقایسه کنید. احتمال تغییر محتوا در کدام یک بیشتر مشهود است

برای آشنایی بیشتر با مفهوم تازگی محتوا می‌توانید به مقاله الگوریتم freshness گوگل مراجعه کنید.

چرا باید به Crawl Budget اهمیت چند برابری بدهید؟

شاید برای شما هم پیش آمده باشد که بخشی از محتوای سایت خود را به‌روزرسانی می‌کنید ولی بعد از این‌که آن را منتشر کردید، گوگل چند هفته بعد این تغییر را کراول و ایندکس کرده!

در مواردی حتی این تغییرات همیشه از چشم گوگل پنهان می‌مانند و هیچ وقت ایندکس نمی‌شوند. مشکل کجاست؟

نرخ خزش سایت شما با مشکل روبرو است. با مقایسه دو حالت زیر خیلی خوب متوجه اهمیت بودجه سالم سایت خود می‌شوید:

• سناریوی بهترین حالت بودجه خزش: وقتی یک صفحه به سایت خود اضافه می‌کنید، توقع دارید که گوگل به‌طور هوشمندانه و سریعی آن صفحه را ایندکس کند، بدون این‌که شما درخواست fetch کردن آن صفحه را به گوگل بدهید. هر‌چه این فرآیند سریع تر اتفاق بیافتد، سریع تر می‌توانید از محتوای صفحات تازه اضافه شده به سایت (یا به‌روز شده) بهره ببرید.
• سناریوی بدترین حالت بودجه خزش: اگر در حال هدر دادن نرخ کراول سایت خود باشید، ربات‌های گوگل نمی‌توانند به صورت موثری سایت شما را کراول کنند. مثلاً ممکن است توجه خود را بیشتر بر روی صفحاتی از سایت قرار دهند که هیچ اهمیتی برای شما ندارند.

این یعنی ممکن است بعضی از صفحات هدف شما هیچ وقت توسط گوگل شناخته نشوند. اگر گوگل این صفحات را نشناسد، نمی‌تواند آن‌ها را کراول و ایندکس کند و در این وضعیت، دریافت ترافیک ارگانیک با استفاده از نتایج گوگل امری غیر ممکن خواهد بود.

می‌بینید که این سناریو به کجا دارد می‌رسد؟ سئو سایت شما ممکن است در خاموشی تمام به گند کشیده شود!

حالا اجازه دهید با معرفی چند روش از این سناریوی فاجعه آفرین جلوگیری کنیم.

 8 اشتباه جبران ناپذیر برای این‌که بودجه خزش سایت خود را به بدترین شکل بهینه کنید!

«بهینه‌سازی بودجه خزش» به زبان ساده یعنی این‌که مطمئن شویم هیچ بودجه ای از سایت ما هدر نمی‌رود و هر خزشی که الگوریتم‌های گوگل برای سایت ما انجام می‌دهد با هدف خاصی (مثل ایندکس یک صفحه لندینگ مهم) مصرف شوند.

خوشبختانه ما بودجه کراول سایت‌های زیادی را بررسی کردیم و می‌توانیم با اطمینان بگوییم که بیشتر آن‌ها از مشکلات مشابهی رنج می‌برند. مشکلات ساده ولی در عین حال مهمی که می‌تواند سایت شما را با کمبود بودجه روبرو کند.

دلایل رایج تلف شدن بودجه خزش عبارتنند از:

3. وجود پارامترهای فیلتر محصولات در URL: آدرس صفحات فروشگاهی گاهی اوقات دارای پارامترهایی هستند که کاربر برای فیلتر کردن محصول از آن‌ها استفاده می‌کند. به عنوان مثال آدرس https://www.example.com/toys/cars?color=white . مطمئن شوید که این پارامترها برای گوگل قابل دسترسی و کراول نیست چون در غیر این‌صورت باید برای ایندکس آن بودجه اضافه صرف شود.
4. محتوای تکراری Duplicate: صفحاتی که محتوای آن‌ها کاملاً مشابه یا خیلی شبیه هم باشند را محتوای تکراری می‌گویند. محتوای کپی شده، صفحات با عنوان‌های یکسان، و صفحات برچسب تکراری از جمله رایج ترین آن‌هاست. محتوای کپی معمولاً از لحاظ اولویت ایندکس شدن در جایگاه پایینی قرار دارند پس استفاده بودجه برای ایندکس آن‌ها منطقی نیست.
5. محتوای بی کیفیت: صفحاتی که محتوای کم ارزش یا کمی در آن‌هاست، باید تا جای ممکن یا در سایت قرار نگیرند یا اگر می‌گیرند برای گوگل قابل دسترسی نباشند. این صفحات می‌توانند مانند خوره بودجه سایت شما تمام کنند ولی هیچ ارزشی به سایت شما اضافه نکنند!
6. لینک‌های شکسته یا ریدایرکت شده: لینک‌های شکسته یا ریدایرکت شده می‌توانند مانند زنجیره‌ای بی نهایت از لینک‌ها ربات‌های گوگل را سردرگم کنند. هر‌چه این سردرگمی بیشتر باشد، بودجه بیشتری هدر می‌رود. تا جای ممکن یا از آن‌ها استفاده نکنید یا طبق اصول و به شکلی درستی از آن‌ها بهره ببرید.

توصیه می‌کنیم باری درک عمیق تر این دو مفهوم، مقالات لینک شکسته چیست و ریدایرکت 301 چیست را خوب مطالعه کنید.

3. URL های اشتباه در سایت مپ سایت: نقشه سایت شما مهم‌ترین کروکی دسترسی برای ربات‌های گوگل است. اگر سایت مپ شما پر از صفحات Broken یا Redirected باشند، گوگل به اشتباه آن‌ها را کراول می‌کند. توصیه می‌کنیم تا جای ممکن ریدایرکت‌های 3xx، 4xx یا 5xx را در نقشه xml سایت قرار ندهید. به طور پیوسته نقشه xml  سایت خود را چک کنید تا مطمئن شوید:

• صفحات بی ارزش و کم اهمیت در آن نیست.
• صفحات هدف در آن حضور دارد.

6. صفحاتی با سرعت لود پایین: صفحاتی که سرعت لود پایینی دارند، یا هیچ وقت لود نمی‌شوند اثر منفی بر روی Crawl Budget سایت شما می‌گذارند. چون که این اتفاق این سیگنال را به گوگل می‌دهد که سرورهای سایت نمی‌توانند درخواست ربات‌های هوشمند گوگل را به خوبی انجام دهند. در نتیجه گوگل نرخ خزش را کاهش می‌دهد تا درخواست‌ها به درستی صورت بگیرند.
7. تعداد زیادی صفحات غیر قابل ایندکس: اگر سایت شما صفحات غیرقابل ایندکس زیادی دارد، عملاً دارید گوگل را سرگرم کراول کردن آن‌ها می‌کنید. برخی از صفحات سایت غیر قابل ایندکس نیست.
8. ساختار لینک سازی غیراصولی: اگر ساختار کلی لینک‌سازی داخلی سایت شما غیر اصولی باشد، ممکن میزان توجه گوگل به درستی در بخش‌های مختلف سایت تقسیم نشود.

مثلاً اگر 10 لینک به صفحه پرسش و پاسخ دادید ولی تنها 5 لینک به صفحه دسته‌بندی محصولات دادید، یعنی صفحه پرسش و پاسخ نیاز به توجه بیشتری از سوی گوگل دارد. حتماً می‌دانید که این کار اشتباه محض است! چون صفحه دسته‌بندی اهمیت بیشتری نسبت به پرسش و پاسخ دارد. یکی از موضوعات مهمی که در سئو کلاه سفید مطرح می‌شود، لینک‌سازی داخلی است. برای این‌که خوب بفهمید منظور ما از لینک‌سازی اصولی چیست به مقاله لینک سازی سئو کلاه سفید بروید.

مهم‌ترین سوالاتی که کاربران درباره نرخ خزش سایت پرسیده اند (ولی کسی جواب آن‌ها را نداده!)

در این بخش مهم‌ترین سوالاتی که در فضای وب درباره نرخ خزش پرسیده شده ولی تا به حال کسی به آن‌ها پاسخ نداده را به عنوان یک نتیجه‌گیری برای شما قرار دهیم. جواب بعضی از آن‌ها در محتوای مقاله موجود است ولی در این جا می‌خواهیم به طور مختصر و مفید  آن‌ها را بررسی کنیم:

1. چطور نرخ خزش سایت ام رو زیاد کنم؟

گوگل به طور واضحی بیان کرده که ارتباط مستقیمی بین اعتبار صفحه Page Authority و بودجه خزش وجود دارد. یعنی هر‌چه یم صفحه اعتبار بیشتری داشته باشد، بودجه بیشتری هم برای کراول در اختیار دارد. پس اگر می‌خواهید بودجه بیشتری داشته باشید، باید اعتبار صفحه یا دامنه خود را تقویت کنید. برای تقویت اعتبار دامنه خود بهترین نقطه شروع این است که سری به مقاله افزایش اعتبار دامنه بزنید تا به طور کامل با روش‌ها و تکنیک‌های افزایش اعتبار دامنه آشنا شوید.

2. سرعت سایت و تعداد ارور‌ها چه تاثیری در Crawl Budget دارد؟

از نظر گوگل یک سایت پر سرعت نشانه سالم بودن سرور‌های آن است. همانطور که در بخش Crawl Limit گفتیم، سلامت سرور‌ها یکی از نشانه‌های بیشتر بودن نرخ خزش است. برعکس این قضیه هم درست است؛ یعنی اگر درخواست به سمت سرور، ارورهای زیادی داشته باشد، نرخ خزش پایین می‌آید.

3. آیا خزش یک فاکتور تاثیر گذار در سئو است؟

تعداد بالای نرخ خزش تاثیری در بهبود جایگاه در صفحه نتایج ندارد. گوگل از 200 فاکتور برای ارزیابی کیفیت سایت‌ها استفاده می‌کند و با این‌که نرخ کراول برای گرفتن جایگاه امری ضروری است ولی جزئی از فاکتورهای رتبه دهی نیست.

4. آیا می‌توان از تگ کنونیکال برای خزش بهتر سایتم استفاده کنم؟

خوب است در همین‌جا به تمایز بین خزش و ایندکس اشاره کنیم. استفاده از تگ کنونیکال به ربات‌های گوگل سیگنالی مبنی بر ایندکس نکردن صفحه مورد نظر می‌دهد. ولی باید به این نکته توجه کنید که درک این مسئله از نظر گوگل نیازمند خزش است و می‌توانیم بگوییم که استفاده از تگ کانونی در میزان خزش تاثیری ندارد. پیشنهاد می‌کنیم برای درک بهتر مقاله تگ canonical چیست را مطالعه کنید.

اگر تمایل دارید تا بیشتر با بخش‌های تکنیکال سئو آشنا شوید پیشنهاد می‌کنیم سری به صفحه کارگاه سئو تکنیکال بزنید.

حالا نوبت به نظرات ارزشمند شما می‌رسد. شما چه تجربه ای از نرخ خزش سایت خود داشته‌اید؟ مشکلاتی که Crawl Budget برای شما به وجود آورده را چطور حل کرده‌اید؟ شاید به اشتراک گذاری تجربه شما بتواند زندگی یک سئوکار دیگر را نجات دهد.