به عنوان یک کارشناس سئو، روی پروژه‌ای کار می‌کنید که به تازگی یک مشکل فنی بزرگ را پشت سر گذاشته است. شاید سرور برای چند روز قطعی داشته یا دسترسی گوگل‌بات به دلیل اختلالات اینترنت محدود شده بود. حالا با صدها صفحه‌ای روبه‌رو هستید که یا اصلاً ایندکس نشده‌اند، یا بدتر از آن، توسط گوگل دیده شده‌اند اما به صورت یک صفحه خالی و بدون محتوا (Page without content) در دیتابیس گوگل ثبت شده‌اند.

در حالت عادی، اولین راه حلی که به ذهن می‌رسد استفاده از ابزار URL Inspection در سرچ کنسول و درخواست دستی برای هر صفحه است. اما وقتی تعداد صفحات از ده‌ها مورد عبور می‌کند، این کار به یک شکنجه زمان‌بر تبدیل می‌شود.

راه حل دوم، استفاده از API گوگل برای ارسال گروهی درخواست‌های ایندکس است. اما اینجا هم با یک محدودیت سفت و سخت مواجهیم: شما در هر روز تنها اجازه ارسال ۲۰۰ درخواست (Request) از طریق API را دارید. سوال اصلی اینجاست: چطور این ۲۰۰ فرصت طلایی را مدیریت کنیم که روی صفحاتی که از قبل ایندکس شده‌اند یا همین دیروز توسط گوگل کرال شده‌اند، هدر نرود؟

عبور از چشم‌بسته کار کردن؛ نیاز به یک دستیار هوشمند

بسیاری از ابزارهای اتوماسیون، لیستی از آدرس‌ها را می‌گیرند و بدون هیچ بررسی اولیه‌ای، آن‌ها را به سمت گوگل شلیک می‌کنند. نتیجه این می‌شود که سهمیه روزانه شما در همان دقایق اول تمام می‌شود، در حالی که نیمی از آن درخواست‌ها برای صفحاتی بوده که وضعیتشان در گوگل کاملاً طبیعی و مناسب بوده است.

برای جلوگیری از این هدررفت منابع، ما به سیستمی نیاز داریم که قبل از زدن دکمه «Request Indexing»، دقیقاً مثل یک انسان وضعیت فعلی صفحه را در سرچ کنسول بررسی کند. ابزار پیگیر (Peygir) دقیقاً با همین هدف و برای پاسخ به همین چالش روزمره طراحی شده است.

این ابزار به جای اینکه فقط یک ارسال‌کننده کورکورانه باشد، نقش یک فیلتر هوشمند را بازی می‌کند تا شما بهینه‌ترین استفاده را از سهمیه محدود گوگل داشته باشید.

منطق ابزار پیگیر چگونه به کمپین‌های سئو کمک می‌کند؟

این سیستم بر اساس چند مفهوم و نیاز اساسی در مدیریت سئو ساخته شده است که درک آن‌ها، کیفیت کار شما را یک پله ارتقا می‌دهد:

  • مدیریت فاصله خزش (Crawl Distance): فرض کنید لیستی از ۲۰۰ صفحه دارید. ابزار پیش از ارسال درخواست، تاریخ آخرین باری که گوگل به آن صفحه سر زده (Last Crawl) را بررسی می‌کند. شما می‌توانید شرط بگذارید: «اگر از آخرین بازدید گوگل کمتر از ۳ روز می‌گذرد، سهمیه من را برای این صفحه خرج نکن». این یعنی تمرکز دقیق روی صفحاتی که واقعاً از چشم گوگل دور مانده‌اند.
  • اولویت‌بندی بر اساس ارزش صفحه: همه صفحات سایت ارزش یکسانی ندارند. شما می‌توانید فیلتری تنظیم کنید که فقط صفحاتی در صف ایندکس قرار بگیرند که حداقل ایمپرشن (Impression) مشخصی در ۳۰ روز گذشته داشته‌اند. اینگونه، صفحات پول‌ساز و مهم‌تر، سریع‌تر به چرخه نتایج بازمی‌گردند.
  • احیای صفحات زامبی (ایندکس‌های ناقص): گاهی یک صفحه ایندکس شده است، اما نسخه‌ای که در کش گوگل قرار دارد، ناقص یا خراب است (مثلاً به دلیل اختلالات موقت سرور). در حالت عادی، ابزارها صفحات «ایندکس شده» را نادیده می‌گیرند. اما در اینجا شما می‌توانید استثنا قائل شوید و بگویید: «حتی اگر صفحه ایندکس شده است، اما از آخرین کرال آن زمان زیادی می‌گذرد، دوباره برای آن درخواست بفرست تا نسخه جدید و سالم جایگزین شود.»
  • امنیت مطلق داده‌ها: یکی از دغدغه‌های همیشگی در استفاده از ابزارهای جانبی، دادن دسترسی سرچ کنسول به سایت‌های شخص ثالث است. در این مکانیزم، هیچ نیازی به اتصال مستقیم اکانت شما به سرور ابزار نیست. شما با استفاده از Google Developers Playground، یک کلید موقت (Token) یک ساعته می‌سازید. این کلید فقط روی مرورگر خودتان (Local Storage) ذخیره می‌شود و پس از یک ساعت کاملاً منقضی و بی‌اعتبار می‌گردد. بنابراین، هیچ‌کس جز شما به دیتای سایت کارفرمایتان دسترسی نخواهد داشت.

یک سناریوی واقعی در طول روز کاری

تصور کنید اول صبح وارد شرکت می‌شوید. یک فایل خروجی CSV از صفحات مشکل‌دار در اختیار دارید که شامل ۵۰۰ آدرس است. ابتدا با روشن کردن یک شبکه خصوصی (VPN)، توکن یک ساعته و امن خود را مستقیماً از گوگل دریافت می‌کنید. سپس فایل CSV را در ابزار بارگذاری می‌کنید.

حالا شرایط خود را تعیین می‌کنید:

  • «فقط آدرس‌هایی را ریکوست بده که حداقل ۳ روز از آخرین کرال آن‌ها گذشته باشد.»

با زدن دکمه شروع، ابزار صفحه به صفحه جلو می‌رود. وضعیت پوشش (Coverage)، تاریخ آخرین خزش، و آدرس کنونیکال (Canonical) هر صفحه را استخراج می‌کند. اگر صفحه‌ای نیاز به ریکوست نداشت (مثلاً همین دیروز دیده شده بود، یا به آدرس دیگری کنونیکال شده بود)، از آن عبور می‌کند تا سهمیه شما حفظ شود.

در نهایت، وقتی کار تمام شد، شما نه تنها درخواست‌هایتان را کاملاً هدفمند ارسال کرده‌اید، بلکه یک گزارش دقیق دارید. می‌توانید خروجی این پردازش را به صورت یک فایل CSV جدید دانلود کنید و در گزارش روزانه خود به مدیر پروژه یا کارفرما ارائه دهید تا دقیقاً بدانند امروز چه صفحاتی و با چه وضعیتی برای ایندکس مجدد ارسال شده‌اند.

یادگیری مسیر عملی درک منطق پشت محدودیت‌های API گوگل و نحوه دور زدن هوشمندانه آن‌ها، تفاوت بین یک کار تکراری و یک استراتژی بهینه را رقم می‌زند. برای اینکه ببینید چطور باید این توکن‌های امن یک‌ساعته را ایجاد کنید، فایل‌های خود را ساختاردهی کنید و این سناریوها را به صورت عملی روی پروژه‌های خود پیاده‌سازی کنید، تماشای مسیر انجام این کار به شما کمک می‌کند تا این مهارت را به جعبه ابزار سئوی خود اضافه کنید.