در دنیای سئو، ابزارها به تنهایی معجزه نمی‌کنند؛ این ذهن تحلیل‌گر شماست که به آن‌ها معنا می‌دهد. اسکریمینگ فراگ (Screaming Frog) را در نظر بگیرید؛ همه می‌دانند چطور یک سایت را با آن کرال (Crawl) کنند. اما هنر واقعی زمانی است که بتوانید از این ابزار برای حل چالش‌های پیچیده و صرفه‌جویی در زمان استفاده کنید.

یکی از جذاب‌ترین قابلیت‌های اسکریمینگ فراگ، امکان اتصال آن به ابزارهای دیگر است. در این مسیر، ما یک قدم فراتر رفته‌ایم و یک جریان کاری (Workflow) خیره‌کننده طراحی کرده‌ایم که دیتای سرچ کنسول، قدرت کرال اسکریمینگ فراگ و هوش تحلیلی Gemini را با هم ترکیب می‌کند. در ادامه، این مسیر هیجان‌انگیز را بررسی می‌کنیم.

قدم اول: اتصال اسکریمینگ فراگ به گوگل سرچ کنسول

آیا تا به حال سعی کرده‌اید وضعیت ایندکس صدها صفحه را به صورت دستی در سرچ کنسول بررسی کنید؟ ابزار URL Inspection عالی است، اما برای تک‌تک صفحات زمان‌بر است.

با اتصال API اسکریمینگ فراگ به سرچ کنسول، این مشکل کاملاً حل می‌شود. شما می‌توانید لیست URLهای سایت (یا فقط سایت‌مپ) خود را به اسکریمینگ فراگ بدهید و از آن بخواهید دیتای سرچ کنسول را برای هر صفحه بیرون بکشد. این دیتا شامل کلیک، ایمپرشن، CTR، میانگین رتبه و مهم‌تر از همه، وضعیت دقیق ایندکس (URL Inspection API) است.

با این کار، شما در یک نگاه متوجه می‌شوید:

  • آخرین باری که گوگل به یک مقاله خاص سر زده چه زمانی بوده است؟ (درک واقعی از Crawl Budget)
  • کدام صفحات ارزشمند هنوز ایندکس نشده‌اند؟
  • کدام صفحات خطای ایندکس (مثل ارور ۵۰۰) دارند؟

این گزارش، دیدی شفاف به شما می‌دهد تا اولویت‌های بهینه‌سازی خود را مشخص کنید؛ مثلاً صفحاتی که پتانسیل بالایی دارند اما هنوز در گوگل دیده نشده‌اند را در اولویت قرار دهید.

چالش اصلی: جای خالی کلمات کلیدی در اسکریمینگ فراگ

تا اینجا اطلاعات بسیار ارزشمندی به دست آوردیم. اما یک چالش بزرگ وجود دارد: وقتی اسکریمینگ فراگ را با حالت “URL Inspection” یا به صورت مستقیم به سرچ کنسول متصل می‌کنید، دیتاها به صورت “Page-based” (مبتنی بر صفحه) استخراج می‌شوند. در این حالت، شما متوجه می‌شوید یک صفحه چه تعداد کلیک و ایمپرشن دارد، اما نمی‌دانید این ورودی‌ها دقیقاً از چه کلماتی (Queries) به دست آمده‌اند.

برای نوشتن یک بریف محتوایی یا بهینه‌سازی یک صفحه، دانستن کلماتی که کاربر جستجو کرده حیاتی است. در حالت عادی، مجبورید برای هر صفحه، دستی به سرچ کنسول بروید، فیلتر URL بزنید، لیست کلمات را خروجی بگیرید و در یک اکسل به تیم محتوا تحویل دهید. کاری به‌شدت زمان‌بر و خسته‌کننده!

قدم دوم: جادوی Custom JavaScript و استخراج کوئری‌ها

در آپدیت‌های اخیر اسکریمینگ فراگ، قابلیتی به نام Custom JavaScript اضافه شده است. این قابلیت به شما اجازه می‌دهد هنگام کرال هر صفحه، کدهای جاوا اسکریپت سفارشی خود را اجرا کنید.

ما از این قابلیت استفاده کردیم تا محدودیت قبلی را دور بزنیم. با نوشتن یک اسکریپت اختصاصی، در حین کرال هر صفحه، نه‌تنها محتوای صفحه (Title, Description, Body) را استخراج می‌کنیم، بلکه مستقیماً از طریق API به سرچ کنسول متصل شده و لیست دقیق کوئری‌های همان صفحه را همراه با کلیک و ایمپرشن آن‌ها دریافت می‌کنیم.

نتیجه؟ یک فایل خروجی تمیز که در آن برای هر URL، تمام کلمات کلیدی سرچ کنسول به همراه محتوای متنی صفحه قرار دارد.

قدم سوم: تحلیل هوشمند با Gemini

حالا ما هم دیتای سرچ کنسول (کوئری‌ها) را داریم و هم محتوای فعلی صفحه را. مرحله بعد چیست؟ تحلیل و بهبود!

خواندن این دیتا و نوشتن بریف برای تیم محتوا هنوز هم زمان‌بر است. اینجا بود که پای هوش مصنوعی گوگل، یعنی Gemini، به میان آمد. ما داده‌های استخراج شده (محتوا + کوئری‌ها + اطلاعات سرچ کنسول) را از طریق یک ابزار واسط به Gemini فرستادیم و از آن خواستیم نقش یک مدیر سئو را بازی کند.

خروجی Gemini شگفت‌انگیز است:

  • خلاصه و نیت کاربر: هدف اصلی صفحه و نوع محتوا (اطلاعاتی، تجاری و …) را مشخص می‌کند.
  • تحلیل EEAT: امتیازی به میزان تخصص و اعتبار محتوا می‌دهد و نقاط ضعف آن را بیان می‌کند (مثلاً “راهکارهای دقیقی ارائه نشده”).
  • پیشنهاد تایتل و دسکریپشن: بر اساس کلماتی که واقعاً کلیک گرفته‌اند، تگ‌های متا را بهینه‌تر می‌نویسد.
  • بررسی لینک‌سازی داخلی: کیفیت انکرتکست‌ها و ارتباط لینک‌های خروجی صفحه را تحلیل می‌کند.
  • شکاف‌های محتوایی (Content Gaps): با مقایسه متن فعلی با کوئری‌هایی که صفحه روی آن‌ها ایمپرشن دارد، پیشنهاد می‌دهد چه سرفصل‌های جدیدی باید به محتوا اضافه شود.

قدم نهایی: اتوماسیون کامل و ابزار ساخت اسکریپت

تصور کنید به جای نوشتن بریف، از Gemini بخواهید با توجه به اطلاعاتی که در دست دارد، خودش محتوا را بازنویسی و آپدیت کند! این کار امکان‌پذیر است و حتی می‌توان آن را مستقیماً روی سایت‌های وردپرسی منتشر کرد (البته همیشه پیشنهاد می‌شود قبل از انتشار نهایی، محتوا بررسی شود).

اما چطور می‌توانید این مسیر را برای پروژه‌های خود اجرا کنید؟ اسکریپت جاوا اسکریپتی که نوشته شده، برای هر سایت متفاوت است (کد API، آدرس سایت، کلاس‌های CSS محتوا و … باید شخصی‌سازی شوند). ارائه مستقیم کد به شما باعث بروز خطاهای متعدد می‌شد.

به همین دلیل، ما یک ابزار داینامیک توسعه داده‌ایم. در این ابزار، شما فقط اطلاعات پایه سایت خود (مثل آدرس سایت، توکن‌ها و بخش‌هایی که می‌خواهید استخراج شوند) را در یک فرم وارد می‌کنید. ابزار به صورت خودکار یک کد Custom JavaScript تمیز و بدون باگ و اختصاصی برای پروژه شما تولید می‌کند. کافی است این کد را کپی کرده و در تنظیمات اسکریمینگ فراگ خود قرار دهید.

در ادامه این آموزش، قدم به قدم یاد می‌گیریم که چطور از این ابزار استفاده کنیم، اسکریپت را بسازیم، اسکریمینگ فراگ را تنظیم کنیم و در نهایت داده‌های خام را به گزارش‌های بصری و بریف‌های دقیق محتوایی تبدیل کنیم. این مسیر، دیدگاه شما را به اتوماسیون سئو برای همیشه تغییر خواهد داد.