آشنایی با ربات‌های گوگل، خزنده‌های زحمت‌کش دنیای وب!

طبق آمارها نزدیک به 80 درصد مردم دنیا از عنکبوت وحشت دارند، این در حالی است که از میان بیش از 40 هزار نوع عنکبوت، بیشتر آن‌ها برای انسان بی‌خطر هستند. این حکایت در مورد سئو و عنکبوت‌های هوشمند گوگل یا همان Googlebot ها نیز صحت دارد. به دلیل پیچیدگی‌هایی که در مورد نحوه کار ربات‌های گوگل وجود دارد، بسیاری از متخصصین سئو باورهای ترسناکی راجع به این ربات‌ها دارند. در این مقاله می‌خواهیم با توضیح کامل درباره این خزنده‌های زحمت‌کش، کاری کنیم تا با ربات‌های گوگل به دوستی برسید.

پیچیدگی‌های زیادی در مورد سئو وجود دارد و علت اصلی به وجود آمدن این پیچیدگی‌ها عدم آگاهی از نحوه کار ربات‌های گوگل است

این جمله‌ای بود که سوز هینتون (دولوپر شرکت مایکروسافت) دومین قسمت از ویدیوهای سریالی گوگل در مورد سئو را با آن شروع کرد.

مارتین اسپلیت (تحلیل‌گر وبمستر ترندز گوگل) مانند آن‌چه در Mythbusting 101 SEO انجام شد به سوالات مهمان پاسخ داد.

برای شروع سوز هینتون به این مسئله اشاره کرد که برای او ابهامات و سوالات زیادی در مورد نحوه کار ربات‌های گوگل وجود دارد. با اشاره به این مسئله، اسپلیت اولین توضیحات را در مورد ربات‌های گوگل ارائه داد. او بعد از توضیح فعالیت ربات‌های گوگل در مورد شباهت گوگل بات‌ها با مرورگرهای وب توضیح داد.

با سوالات هیجان‌انگیزی که در این مصاحبه پرسیده شد شک نداریم که در پایان این متن تمام ابهامات و سردرگمی‌هایی که در مورد نحوه عملکرد ربات‌های گوگل وجود دارد از بین می‌رود.

فعالیت‌های اصلی ربات گوگل (Googlebot) شامل چه مواردی است؟

نحوه کار ربات‌های گوگل همیشه از موضوعات پربحث و جنجال برانگیز بوده. اسپلیت برای این‌که پیچیدگی فعالیت‌های این ربات‌های جنجال آفرین را به سادگی بیان کند نحوه کار Googlebot  را به 3 مرحله تقسیم کرد.

3 فعالیت اصلی که این ربات‌ها انجام می‌دهند شامل موارد زیر است:

1. کراول کردن (Crawling)
2. ایندکس کردن (Indexing)
3. رتبه‌بندی نتایج (Ranking)

در مرحله اول، محتوا در صفحات اینترنتی بررسی می‌شود. سپس ربات‌ها به موضوع و نوع محتوا توجه می‌کنند و محتوا را ایندکس می‌کنند.

در مرحله آخر، ربات‌ها محتوای ایندکس شده را بررسی می‌کنند و در مورد جایگاه این صفحه در نتایج گوگل تصمیم می‌گیرند.

اسپلیت در ادامه به این موضوع اشاره کرد که مرحله آخر یعنی رتبه‌بندی نتایج، بخشی از وظایف ربات‌های گوگل نیست و این ربات‌ها تنها در مورد آن تصمیم می‌گیرند؛ به این معنی که ربات گوگل وظیفه جابه‌جا کردن نتایج جستجوها را به عهده ندارد و تنها درباره بهترین نحوه نمایش نتایج نظر می‌دهد.

گوگل بیش از هر چیز شبیه به کتابخانه‌ای بزرگ است!

اسپلیت برای توضیح بیشتر و دقیق‌تر در مورد فرآیند فعالیت ربات‌های گوگل از یک مثال جذاب استفاده کرد. اتفاقا این مثال برای سوز هینتون هم جذاب بود؛ چون او سابقه کار در کتابخانه را هم داشته است.

در این مثال کتابدار کتابخانه به ربات گوگل شباهت داده شد. کتابدار قبل از هر چیز باید از کتاب‌های موجود در کتابخانه و موضوع آن‌ها سردر بیاورد. این مرحله شبیه به وظیفه Crawling ربات‌های گوگل است.

در قدم بعد کتابدار اطلاعاتی از کتاب‌ها دارد و می‌تواند به مراجعین کمک کند تا کتاب مورد نظر خود را به راحتی پیدا کنند. این مرحله نیز شبیه به وظیفه Indexing این ربات‌ها است.

کتاب‌های مرتبط با یک موضوع شبیه نتایجی هستند که برای یک جستجو نشان داده می‌شود. این نتایج معمولا تغییر چندانی ندارند تا زمانی که نتایج جدید اضافه شوند. نتایج جدید همان کتاب‌های جدیدی هستند که به کتابخانه اضافه می‌شوند.

در مرحله آخر کتابدار با توجه به نیاز مراجعه کننده، کتاب‌هایی که فکر می‌کند می‌تواند برای او مفید واقع شود را به ترتیب بهترین پیشنهادها معرفی می‌کند.

مقایسه عملکرد ربات گوگل با مرورگر وب

توضیحات قبلی در واقع شروع ماجرا و شناخت اولیه از ربات گوگل بود. اما سوالات بعدی سوز هینتون جزئیات بیشتری را در مورد نحوه کارکرد ربات‌های گوگل مشخص کرد. پاسخ این سوالات احتمالا جذابیت بیشتری برای متخصصین سئو و مدیران سایت‌ها خواهد داشت.

هینتون سوالات خود را به صورت پشت سر هم پرسید؛ اسپلیت هم پاسخ آن‌ها را به صورت پشت سر هم مطرح کرد؛ اولین سوال این بود:

1 – شباهت ربات گوگل و مرورگر وب – ربات‌های گوگل دقیقا چکار می‌کنند؟

اسپلیت توضیح داد که عملکرد ربات‌های گوگل تا حدی شبیه به مرورگرهای اینترنتی است؛ حداقل بخشی از فعالیت‌های ربات‌ها را می‌توان به عملکرد مرورگرهای وب شبیه دانست. ربات‌های گوگل مثل مرورگر وب وارد صفحات سایت شما می‌شوند.

لینک‌های موجود در صفحات وب و درخواست ایندکس سایت در گوگل سرچ کنسول سیگنال‌هایی هستند که ربات گوگل را برای ورود به صفحات سایت شما فرا می‌خوانند. برای ارسال درخواست ایندکس صفحات سایت در گوگل سرچ کنسول می‌توانید از ابزار URL inspection tool استفاده کنید.

2 – ربات‌های گوگل هر چند وقت یک‌بار به سایت سر می‌زنند؟

این سوال هینتون سوال بسیار جذابی بود، اما پاسخ اسپلیت به این سوال از آن‌چه که تصور می‌کنید جالب‌تر بود. در واقع اسپلیت در پاسخ به این سوال هر آن‌چه که لازم بود توضیح داده شود را به روی میز گرد مصاحبه آورد.

اسپلیت در ابتدای پاسخ خود توضیح داد که میزان فعالیت ربات‌های گوگل در بعضی روزها بیشتر و در بعضی روزها کمتر است.

برای مثال در روز بلک فرایدی یا همان جمعه سیاه که روز پرکاری برای فروشگاه‌های اینترنتی است ربات‌های گوگل باید به صفحات زیادی سر بزنند؛ یا در روزهایی که اخبار مهم بین المللی منتشر می‌شود احتمالا میزان فعالیت ربات‌های گوگل بیشتر از روزهای عادی است.

اسپلیت بعد از اشاره به این موضوع، توضیح داد که ربات‌های گوگل برای بررسی محتوای سایت‌ها به بازه زمانی انتشار محتوا و نوع و موضوع محتوا توجه می‌کنند.

در واقع اگر ربات گوگل را یک انسان در نظر بگیریم سوالی که ربات‌های گوگل از خود می‌پرسند چیزی شبیه به این سوال است:

آیا لازم است که به طور مداوم محتوای این سایت بررسی و ایندکس شود و در اختیار کاربران قرار بگیرد؟

چرا محتوا معیار بازدید گوگل بات از صفحات سایت است؟

اسپلیت همیشه برای بیان مفاهیم از مثال‌های جالبی استفاده می‌کند. او در مورد زمان‌بندی بازدید ربات‌های گوگل از سایت‌های مختلف از این مثال استفاده کرد.

سه سایت با محتوای متفاوت را فرض کنید. یکی از آن‌ها سایتی خبری است که در طول روز تعداد زیادی محتوا در آن منتشر می‌شود. محتوای این صفحات اخبار روز هستند و باید به سرعت به دست کاربر برسند.

حالا یک فروشگاه اینترنتی را در نظر بگیرید که محتوای آن هر چند روز یا چند هفته تغییر می‌کند و محتوای کمتری نسبت به یک سایت خبری در آن منتشر می‌شود.

سومین مورد، سایت یک موزه است. احتمالا محتوای این سایت هر چند ماه تغییر می کند و تعداد محتوایی که به آن اضافه می شود بسیار کم است. مطمئنا گوگل به سایت خبری که محتوای تازه بیشتری در اختیار کاربران قرار می‌دهد بیشتر از سایت یک موزه یا فروشگاه اینترنتی سر می‌زند، چرا که صفحات اخبار این سایت که جدیدا منتشر شده‌اند باید به سرعت در دسترس کاربران اینترنت قرار گیرند.

اسپلیت این نکته را اضافه کرد که اگر ربات‌های گوگل تشخیص دهند یک سایت اسپم است میزان خزش ربات‌های گوگل در این سایت بسیار کم می‌شود و در برخی موارد به صفر می‌رسد.

ضمنا اگر به ربات‌های گوگل اعلام کنید که نمی‌خواهید سایت شما بررسی شود، گوگل بات‌ها تا زمانی‌که درخواست ایندکس شدن مجدد این صفحات را ارسال کنید، به وبسایت شما باز نمی‌گردند.

از طریق فایل robots.txt می‌توانید عدم تمایل به بررسی و ایندکس صفحات سایت در گوگل را اعلام کنید. اسپلیت در بخشی از این مصاحبه توضیح داد که ربات‌های گوگل به دستوراتی که در فایل robots.txt قرار می‌گیرد احترام می‌گذارند.

ربات‌های گوگل فروشگاه‌های اینترنتی بزرگ را چطور ایندکس می‌کنند؟

اسپلیت توضیحات جذابی در مورد ایندکس کردن فروشگاه‌های اینترنتی با تعداد صفحات زیاد ارائه داد. او توضیح داد که ربات‌های گوگل نمی‌توانند تمام صفحات یک فروشگاه اینترنتی بزرگ را به یکباره ایندکس کنند. این مسئله دو علت اصلی دارد:

1. منابع بسیار زیادی برای ایندکس کردن تمام این صفحات مورد نیاز است.
2. این کار باعث می‌شود فشار زیادی به منابع سرور فروشگاه اینترنتی مورد نظر وارد شود.

فرض کنید یک فروشگاه اینترنتی با 30 دسته‌بندی محصول دارید که در هر دسته صدها صفحه محصول قرار دارد؛ اگر قرار باشد ربات‌های گوگل یکباره هزاران صفحه را ایندکس کنند فشار بسیار زیادی به منابع سرور سایت شما وارد می‌شود و به دلیل مصرف زیاد پهنای باند سایت از دسترس خارج می‌شود.

در چنین سایت‌هایی که تعداد صفحات زیادی دارند ربات‌های گوگل پیش از هر چیز پتانسیل سایت مورد نظر را بررسی می‌کنند.

در واقع برای بررسی و ثبت صفحات در سایت‌های بزرگ ربات‌های گوگل اندازه ای در نظر می‌گیرند. این اندازه که در بازه‌های زمانی مختلف تغییر می‌کند Crawl Budget نام دارد. فرآیند بررسی و ثبت صفحات سایت تا حدی انجام می‌شود که فشاری بر منابع سرور فروشگاه اینترنتی وارد نشود. البته قبل از بررسی سایت‌های بزرگ با تعداد صفحات زیاد، توان ربات‌های در دسترس گوگل هم بررسی می‌شود.

اسپلیت به این نکته هم اشاره کرد که خطاهای کراول (Crawl errors) در میزان کراول شدن سایت توسط ربات‌ها تاثیر زیادی دارند. هرچه ربات‌های گوگل بیشتر با خطا رو به رو شوند بودجه خزش سایت شما کاهش پیدا می‌کند، اما در صورتی که با خطای کمتری رو به رو شوند میزان خزش تا حد ممکن افزایش می‌یابد. وجود خطاهای بسیار در فرآیند خزش ربات‌های گوگل حتی می‌تواند نرخ خزش این ربات‌ها را تا نزدیک شدن به صفر برساند.

خطاهای خزش ربات‌های گوگل در بخش Crawl errors ابزار گوگل سرچ کنسول قابل مشاهده است. رفع این مشکلات مسئله مهمی است که نباید به آن بی توجهی کنید.

ماجرای ربات‌های گوگل و سایت‌های جاواسکریپتی

گوگل برای کراول کردن برخی از وبسایت‌ها و یا وب اپلیکیشن‌ها که بر اساس جاوا اسکریپت ساخته شده‌اند از مرورگرهایی با نام WRS (Web Rendering Service) استفاده می‌کند. این مرورگرها نوعی از ربات‌های گوگل هستند. اسپلیت تایید کرد که با استفاده از توانایی رندر کردن کدهای جاوا اسکریپت، این مرورگرها توانایی خواندن این کدها را دارند.

برای مثال اگر شما یک لینک را در صفحه ای از سایت که با استفاده از جاوا اسکریپت ساخته شده قرار دهید، فرآیند مشاهده این لینک توسط ربات‌های گوگل به این شکل است:

1. کدهای جاوا اسکریپت توسط ربات‌های گوگل خوانده و اجرا می‌شوند.
2. سپس کدهای جاوا اسکریپت به کدهای html تبدیل می‌شود.
3. در آخرین مرحله لینک قرار گرفته در کد html توسط ربات‌های گوگل بررسی می‌شود.

البته این فرآیند ممکن است به زمان بیشتری نیاز داشته باشد، بنابراین برای سرعت بخشیدن به فرآیند درک این صفحات توسط ربات‌های گوگل استفاده از تکنیک داینامیک رندرینگ (Dynamic Rendering) توصیه می‌شود. با استفاده از این روش، زمانی که گوگل بات‌ها برای بررسی یک صفحه از سایت یا اپلیکیشنی که با جاوا اسکریپت ساخته شده می‌آیند، سرور متوجه حضور آن‌ها شده و به جای نسخه جاوا اسکریپت، نسخه html همان صفحه را برای بررسی در دسترس ربات گوگل قرار می‌دهد.

Mobile-first indexing و Mobile friendliness – دو مفهوم مشابه، اما متفاوت

اسپلیت در این مورد توضیح داد که این دو مفهوم معمولا با یکدیگر اشتباه گرفته می‌شوند.

در Mobile-first indexing ربات‌های گوگل نمایش صحیح محتوا در نسخه موبایل را بررسی می‌کنند. این ربات‌ها که با نام Mobile Googlebot شناخته می‌شوند، وبسایت را با استفاده از تگ Viewport بررسی و ایندکس می‌کنند تا مطمئن شوند محتوای صفحه برای کاربران موبایل به خوبی نمایش داده می‌شود.

Mobile-first indexing زمانی انجام می‌شود که معیار گوگل برای رتبه‌بندی صفحه مورد نظر، محتوای نمایش داده شده در نسخه موبایل باشد.

اما در Mobile friendliness موارد زیر بررسی می‌شود:

• کلیک آسان بر روی دکمه‌ها در نسخه موبایل
• فونت مناسب و خوانا
• …

این موارد که تعیین کننده کیفیت محتوای صفحه (Quality Indicators) هستند تنها یکی از 200 فاکتور تاثیرگذار در نتایج گوگل محسوب می‌شوند. ربات‌های گوگل این 200 فاکتور را به صورت متادیتا (Meta data) ایندکس می‌کنند و رتبه‌بندی براساس این اطلاعات ایندکس شده انجام می‌شود.

اسپلیت به این مسئله اشاره کرد که هر کدام از فاکتورهای تاثیرگذار در کسب جایگاه می‌توانند مانند قدمی رو به جلو باشند تا رتبه سایت شما را بهبود ببخشند.

برای مثال اگر دو صفحه با شرایط یکسان در یک کلمه کلیدی جایگاهی نزدیک به هم داشته باشند، گوگل صفحه ای را که نمایش محتوای آن در نسخه موبایل مناسب است را به گزینه ای که نمایش متناسب با موبایل ندارد ترجیح می‌دهد و به آن صفحه رتبه بهتری می‌دهد.

نکته جالب این است که اسپلیت در این ویدیوها، تاکید شدیدی بر این مسئله دارد که تمام فاکتورهای سئو به تنهایی، بخش کوچکی از 200 فاکتور رتبه‌بندی هستند. او در این ویدیو نیز چندمرتبه به این مسئله اشاره می‌کند.

صحبت‌های پایانی اسپلیت برای پایان دادن به باورهای غلط

جملات پایانی اسپلیت همگی برای پایان دادن به باورهای اشتباهی بود که هنوز هم در زمینه سئو رواج دارند.

بعد از این‌که اسپلیت دوباره به 200 عامل ارزش گذاری گوگل اشاره کرد سوز هینتون جمله جالبی را به زبان آورد:

“می‌دانم که نمی‌توانید این 200 عامل تاثیرگذار را معرفی کنید، چرا که در گذشته از روش‌های مختلف برای دورزدن و بازی دادن گوگل استفاده شده است.”

اسپلیت در صحبت‌های پایانی به این موضوع پرداخت که نمی‌توان وزنی برای فاکتورهای تاثیرگذار در نتایج مشخص کرد. تاثیر این عوامل در حال تغییر است و معیار ثابتی برای آن‌ها وجود ندارد.

بهترین حسن ختام برای پایان دومین مصاحبه گوگل جملاتی بود که مارتین اسپلیت در مورد یک باور اشتباه بزرگ در سئو به زبان آورد:

“محتوای خوب بسازید و جواب مثبت بگیرید. اگر از علاقه‌مندان و برخی متخصصین سئو بپرسید مهم‌ترین فاکتور تاثیرگذار در سئو چیست، ممکن است با این پاسخ رو به رو شوید؛

بک لینک مهم‌ترین فاکتور تاثیرگذار در سئو است.

این جواب آسان‌ترین و البته اشتباه‌ترین پاسخ به این سوال است. بک‌لینک هم مانند 200 فاکتور دیگر در کسب نتایج بهتر موثر است، اما تنها این فاکتور در سئو تاثیرگذار نیست”