وقتی برای اولین بار پنل مدیریتی یک سایت را باز می‌کنید یا قرار است روی سئوی یک پروژه جدید کار کنید، همه چیز مبهم به نظر می‌رسد. شما به عنوان یک سئوکارهای جونیور، با صدها صفحه، دسته‌بندی و لینک روبرو هستید و یک سوال بزرگ در ذهنتان چرخ می‌خورد: «من چطور باید در یک نگاه بفهمم درون این سایت چه خبر است؟ کدام صفحات خرابند؟ وضعیت لینک‌ها چطور است؟»

راستش را بخواهید، بررسی دستی تک‌تک صفحات مثل این است که بخواهید با یک قاشق چای‌خوری، آب یک استخر را خالی کنید! اینجاست که به یک ابزار جادویی نیاز داریم؛ ابزاری که بتواند در چند دقیقه، کل ساختار و به اصطلاح «دل و روده» سایت را بیرون بریزد و جلوی چشمانمان بگذارد. در دنیای سئو، هیچ ابزاری به اندازه Screaming Frog SEO Spider این کار را سریع، دقیق و بی‌نقص انجام نمی‌دهد.

در این مطلب، قرار است با هم یاد بگیریم که چطور مانند یک متخصص حرفه‌ای، این ابزار را پیکربندی کنیم، آن را به ابزارهای گوگل متصل کنیم و حتی دیتای خاص رقبا را با آن بیرون بکشیم.

چرا اسکریمینگ فراگ جایگزین ندارد؟

شاید بگویید ابزارهای آنلاین زیادی مثل Ahrefs یا SEMrush هم سایت را کراول (خزش) می‌کنند. بله، اما انعطاف‌پذیری و عمق گزارشی که اسکریمینگ فراگ به شما می‌دهد، در هیچ ابزار دیگری پیدا نمی‌شود. به‌ویژه در نسخه‌های جدید که پای هوش مصنوعی (AI) هم به آن باز شده و می‌توانید آن را به ایجنت‌های مختلف متصل کنید تا تحلیل‌های شگفت‌انگیزی به شما تحویل دهد.

اما قبل از زدن دکمه استارت و شروع خزش، باید یاد بگیرید چطور ابزار را کنترل کنید. اگر بدون تنظیمات اولیه آدرس سایتی را وارد کنید، نرم‌افزار شروع به دانلود و بررسی تمام تصاویر، کدهای CSS، جاوا اسکریپت‌ها و فایل‌های مدیا می‌کند. نتیجه؟ یک گزارش فوق‌العاده سنگین که سیستم شما را کند می‌کند و پر از اطلاعاتی است که شاید الان به آن‌ها نیاز نداشته باشید.

قدم اول: شخصی‌سازی تنظیمات (Configuration)

برای اینکه یک گزارش سبک، سریع و کاربردی داشته باشیم، اولین کار این است که تیک‌های اضافی را برداریم. مگر اینکه واقعاً بخواهید تصاویر سایت یا کدهای CSS را آنالیز کنید؛ در غیر این صورت، با برداشتن این تیک‌ها در بخش تنظیمات، سرعت کار را چند برابر می‌کنید.

مدیریت رفتار خزشگر در این بخش به شکل زیر انجام می‌شود:

  • تعیین محدوده خزش: می‌توانید مشخص کنید که اگر آدرس بخش وبلاگ (مثلاً site.com/blog) را به ابزار دادید، آیا اگر لینکی به بخش فروشگاه دید، آن را هم بررسی کند یا فقط در همان فضا بماند؟
  • بررسی سایت‌مپ (Sitemap): سایت‌مپ نقشه گنج سایت است. با فعال کردن خزش سایت‌مپ، ابزار تمام صفحاتی که به گوگل معرفی شده‌اند را دونه به دونه چک می‌کند تا ببیند آیا ساختار درستی دارند یا خیر.
  • فیلتر کردن موارد بیهوده: مواردی مثل صفحات شماره‌گذاری (Pagination) یا آیفریم‌ها (iFrames) معمولاً در آنالیزهای اولیه تکنیکال نیازی نیستند و می‌توان آن‌ها را غیرفعال کرد، اما تیک تگ‌های کنونیکال (Canonical) و لینک‌های داخلی همیشه باید فعال بمانند.

چالش بزرگ صفحات فیلتر (Query Strings)

در سایت‌های فروشگاهی بزرگ، وقتی کاربر فیلتری را انتخاب می‌کند (مثلاً فیلتر “نور ملایم” در یک سایت گل و گیاه)، یک علامت سوال ؟ به انتهای آدرس اضافه می‌شود. این علامت سوال‌ها می‌توانند هزاران صفحه تکراری و اضافه ایجاد کنند. در اسکریمینگ فراگ می‌توانید لیمیت یا محدودیت بگذارید. مثلاً بگویید تعداد این صفحات را روی صفر بگذار یا برای بخش‌های مختلف سایت (مثل تگ‌ها یا محصولات) سقف بررسی تعیین کن تا بودجه خزش سیستم هدر نرود.

رندر کردن به سبک مرورگر واقعی (Rendering)

یکی از نکات پیشرفته‌ای که یک سئوکار جونیور باید بداند، تفاوت سایت‌های معمولی با سایت‌های جاوا اسکریپتی (مثل سایت‌های نوشته شده با React یا Vue.js) است. اگر سایتی با جاوا اسکریپت نوشته شده باشد و شما در تنظیمات اسکریمینگ فراگ گزینه Text Only را انتخاب کنید، ابزار هیچ محتوایی را نمی‌بیند! در این مواقع باید تنظیمات رندرینگ را روی JavaScript بگذارید تا ابزار دقیقاً مثل یک مرورگر واقعی (مثل کروم) سایت را باز کند، کدها را اجرا کند و محتوای تزریق‌شده بعد از لود صفحه را بخواند.

احترام به قوانین فایل Robots.txt

همیشه این سوال وجود دارد که آیا باید به دستورات نوآیندکس یا فایل Robots.txt احترام گذاشت؟ برای تحلیل سئوی تکنیکال، ایده آل این است که یک‌بار با نادیده گرفتن رباتس (Ignore Robots.txt) سایت را کراول کنید تا ببینید چه صفحات پنهانی در سایت وجود دارند که شاید به اشتباه بسته شده‌اند و دچار ایراد هستند.

قدم دوم: تحلیل داده‌ها و کشف عیوب سایت

بعد از تنظیمات، وقتی آدرس سایت را وارد می‌کنید و دکمه استارت را می‌زنید، اسکریمینگ فراگ مثل یک کارآگاه شروع به جمع‌آوری اطلاعات می‌کند. در تب‌های مختلف این ابزار می‌توانید دارایی‌های سئویی سایت را تحلیل کنید:

  • کدهای وضعیت (Status Codes): صفحاتی که ارور ۴۰۴ می‌دهند یا لینک‌هایی که به بن‌بست خورده‌اند را فوراً پیدا می‌کنید.
  • تایتل و متا دسکریپشن: می‌بینید کدام صفحات تایتل خیلی کوتاه یا خیلی بلند دارند یا اصلاً تگ تایتل برای آن‌ها نوشته نشده است.
  • ساختار تگ‌های بدنه: صفحاتی که تگ H1 ندارند یا چند تگ H1 دارند مشخص می‌شوند (مثلاً صفحه “درباره ما” که شاید تگ عنوان اصلی‌اش جا افتاده باشد).
  • معماری سایت (Site Structure): ابزار به شما نشان می‌دهد که مثلاً در پوشه /product چند صفحه و در پوشه /blog چند صفحه دارید تا متوجه چیدمان و معماری سایت شوید.

گزارش‌های بصری (Visualizations)

اگر دیدن جدول‌های طولانی خسته‌تان می‌کند، اسکریمینگ فراگ یک بخش بی‌نظیر برای نمایش بصری دارد. این بخش نمودارهای درختی و دایره‌ای از ساختار سایت به شما می‌دهد. شما در یک نگاه می‌بینید که آیا ساختار سایت شما فلت (تخت) است یا سلسله‌مراتبی (Hierarchy). حتی می‌توانید سایز دایره‌های نمودار را بر اساس تعداد لینک‌های داخلی تنظیم کنید؛ دایره‌های بزرگ‌تر نشان‌دهنده صفحاتی هستند که بیشترین لینک را از منو یا بخش‌های دیگر دریافت کرده‌اند.

قدم سوم: معجزه اتصال به APIها

قدرت واقعی اسکریمینگ فراگ زمانی آشکار می‌شود که آن را به ابزارهای خود گوگل متصل کنید. فکرش را بکنید؛ شما می‌توانید ابزار را از طریق API به گوگل سرچ کنسول (GSC) یا PageSpeed Insights وصل کنید.

با این کار، به جای اینکه فقط اطلاعات ظاهری صفحه را ببینید، جدول شما مجهز به ستون‌های جدیدی می‌شود: ۱. تعداد کلیک و ایمپرشن هر صفحه در ۳۰ روز یا ۳ ماه گذشته چقدر بوده است؟ ۲. وضعیت ایندکس صفحه در گوگل چطور است؟ (URL Inspection) ۳. گوگل چه تگ کنونیکالی را برای این صفحه در نظر گرفته است؟ ۴. آخرین باری که ربات گوگل این صفحه را خزش کرده چه زمانی بوده است؟

این ترکیب به شما کمک می‌کند تا بعداً مفاهیمی مثل بودجه خزش (Crawl Budget) را به دقیق‌ترین شکل ممکن محاسبه کنید؛ کاری که انجام آن با هیچ ابزار دیگری به این راحتی نیست.

قدم چهارم: استخراج اطلاعات خاص با Custom Extraction

تصور کنید می‌خواهید سایت رقیبتان را آنالیز کنید. می‌خواهید بدانید قیمت محصولاتشان چقدر است، چه رنگ‌بندی‌هایی دارند یا مثلاً تاریخ به‌روزرسانی مقالاتشان چیست. آیا باید تک‌تک صفحات رقیب را باز کنید؟ ابداً!

با قابلیت Custom Extraction، شما آدرس یک صفحه از محصول رقیب را در ابزار باز می‌کنید، روی المان قیمت کلیک می‌کنید و به ابزار می‌گویید: «من متن این بخش را می‌خواهم». نامش را می‌گذارید Price و تمام!

وقتی کراولر شروع به کار می‌کند، در کنار تمام اطلاعات سئویی، یک ستون اختصاصی به نام Price ایجاد می‌شود که قیمت تمام محصولات آن سایت را استخراج کرده و جلوی هر آدرس می‌نویسد. شما می‌توانید اطلاعات پنهان در کدهای HTML (مثل تاریخ‌های انتشار یا اسکیمای خاص) را هم به همین روش بیرون بکشید.

قطب‌نمای شما در مسیر سئو

اسکریمینگ فراگ ابزاری نیست که ماهی یک‌بار سراغش بروید؛ این نرم‌افزار قطب‌نمای روزانه شما در پروژه‌های سئو است. از پیدا کردن یک لینک شکسته ساده گرفته تا استخراج قیمت‌های رقیب و تحلیل رفتار ربات‌های گوگل، همه و همه با این خزنده جذاب امکان‌پذیر است.

به عنوان یک متخصص سئو، تسلط روی تنظیمات و نحوه گرفتن گزارش‌های بهینه از این ابزار، اولین قدم بزرگی است که شما را از یک کارشناس جونیور به یک تحلیل‌گر حرفه‌ای تبدیل می‌کند. کافی است چند بار با بخش‌های مختلف آن بازی کنید تا متوجه شوید مدیریت سئوی تکنیکال چقدر می‌تواند لذت‌بخش و ملموس باشد.