آشنایی با ربات های گوگل، خزنده‌های زحمتکش دنیای وب!

ربات های گوگل نقش مهمی در فرآیند کار موتورهای جستجو و به نمایش درآوردن نتایج جستجوی کاربران به عهده دارند. در این قسمت از SEO Mythbusting به طرز کار ربات های گوگل در سئو پرداخته شد تا گوگل در مورد نحوه کار ربات هایش پاسخی واضح داده باشد

طبق آمارها نزدیک به 80 درصد مردم دنیا از عنکبوت وحشت دارند، این در حالی است که از میان بیش از 40 هزار نوع عنکبوت، بیشتر آن ها برای انسان بی خطر هستند. این حکایت در مورد سئو و عنکبوت های هوشمند گوگل یا همان Googlebot ها نیز صحت دارد. به دلیل پیچیدگی هایی که در مورد نحوه کار ربات های گوگل وجود دارد، بسیاری از متخصصین سئو باورهای ترسناکی راجع به این ربات ها دارند. در این مقاله میخواهیم با توضیح کامل درباره این خزنده های زحمتکش، کاری کنیم تا با ربات های گوگل به دوستی برسید.

پیچیدگی های زیادی در مورد سئو وجود دارد و علت اصلی به وجود آمدن این پیچیدگی ها عدم آگاهی از نحوه کار ربات های گوگل است

این جمله ای بود که سوز هینتون (دولوپر شرکت مایکروسافت) دومین قسمت از ویدیوهای سریالی گوگل در مورد سئو را با آن شروع کرد.

مارتین اسپلیت (تحلیلگر وبمستر ترندز گوگل) مانند آنچه در Mythbusting 101 SEO انجام شد به سوالات مهمان پاسخ داد.

برای شروع سوز هینتون به این مسئله اشاره کرد که برای او ابهامات و سوالات زیادی در مورد نحوه کار ربات های گوگل وجود دارد. با اشاره به این مسئله، اسپلیت اولین توضیحات را در مورد ربات های گوگل ارائه داد. او بعد از توضیح فعالیت ربات های گوگل در مورد شباهت گوگل بات ها با مرورگرهای وب توضیح داد.

با سوالات هیجان انگیزی که در این مصاحبه پرسیده شد شک نداریم که در پایان این متن تمام ابهامات و سردرگمی هایی که در مورد نحوه عملکرد ربات های گوگل وجود دارد از بین می رود.

باور اشتباه سئو درباره ربات های گوگل در seo mythbusting

فعالیت های اصلی ربات گوگل (Googlebot) شامل چه مواردی است؟

نحوه کار ربات های گوگل همیشه از موضوعات پربحث و جنجال برانگیز بوده. اسپلیت برای اینکه پیچیدگی فعالیت های این ربات های جنجال آفرین را به سادگی بیان کند نحوه کار Googlebot  را به 3 مرحله تقسیم کرد.

3 فعالیت اصلی که این ربات ها انجام می دهند شامل موارد زیر است:

  1. کراول کردن (Crawling)
  2. ایندکس کردن (Indexing)
  3. رتبه بندی نتایج (Ranking)

در مرحله اول، محتوا در صفحات اینترنتی بررسی می شود. سپس ربات ها به موضوع و نوع محتوا توجه می کنند و محتوا را ایندکس می کنند.

در مرحله آخر، ربات ها محتوای ایندکس شده را بررسی می کنند و در مورد جایگاه این صفحه در نتایج گوگل تصمیم می گیرند.

اسپلیت در ادامه به این موضوع اشاره کرد که مرحله آخر یعنی رتبه بندی نتایج، بخشی از وظایف ربات های گوگل نیست و این ربات ها تنها در مورد آن تصمیم می گیرند؛ به این معنی که ربات گوگل وظیفه جابجا کردن نتایج جستجوها را به عهده ندارد و تنها درباره بهترین نحوه نمایش نتایج نظر می دهد.

گوگل بیش از هر چیز شبیه به کتابخانه‌ای بزرگ است!

اسپلیت برای توضیح بیشتر و دقیق تر در مورد فرآیند فعالیت ربات های گوگل از یک مثال جذاب استفاده کرد. اتفاقا این مثال برای سوز هینتون هم جذاب بود؛ چون او سابقه کار در کتابخانه را هم داشته است.

در این مثال کتابدار کتابخانه به ربات گوگل شباهت داده شد. کتابدار قبل از هر چیز باید از کتاب های موجود در کتابخانه و موضوع آن ها سردر بیاورد. این مرحله شبیه به وظیفه Crawling ربات های گوگل است.

در قدم بعد کتابدار اطلاعاتی از کتاب ها دارد و می تواند به مراجعین کمک کند تا کتاب مورد نظر خود را به راحتی پیدا کنند. این مرحله نیز شبیه به وظیفه Indexing این ربات ها است.

کتاب های مرتبط با یک موضوع شبیه نتایجی هستند که برای یک جستجو نشان داده می شود. این نتایج معمولا تغییر چندانی ندارند تا زمانی که نتایج جدید اضافه شوند. نتایج جدید همان کتاب های جدیدی هستند که به کتابخانه اضافه می شوند.

در مرحله آخر کتابدار با توجه به نیاز مراجعه کننده، کتاب هایی که فکر می کند می تواند برای او مفید واقع شود را به ترتیب بهترین پیشنهادها معرفی می کند.

فعالیت های اصلی ربات گوگل (Googlebot) شامل چه مواردی است؟

مقایسه عملکرد ربات گوگل با مرورگر وب

توضیحات قبلی در واقع شروع ماجرا و شناخت اولیه از ربات گوگل بود. اما سوالات بعدی سوز هینتون جزئیات بیشتری را در مورد نحوه کارکرد ربات های گوگل مشخص کرد. پاسخ این سوالات احتمالا جذابیت بیشتری برای متخصصین سئو و مدیران سایت ها خواهد داشت.

هینتون سوالات خود را به صورت پشت سر هم پرسید؛ اسپلیت هم پاسخ آن ها را به صورت پشت سر هم مطرح کرد؛ اولین سوال این بود:

1 – شباهت ربات گوگل و مرورگر وب – ربات های گوگل دقیقا چکار می کنند؟

اسپلیت توضیح داد که عملکرد ربات های گوگل تا حدی شبیه به مرورگرهای اینترنتی است؛ حداقل بخشی از فعالیت های ربات ها را می توان به عملکرد مرورگرهای وب شبیه دانست. ربات های گوگل مثل مرورگر وب وارد صفحات سایت شما می شوند.

لینک های موجود در صفحات وب و درخواست ایندکس سایت در گوگل سرچ کنسول سیگنال هایی هستند که ربات گوگل را برای ورود به صفحات سایت شما فرا می خوانند. برای ارسال درخواست ایندکس صفحات سایت در گوگل سرچ کنسول می توانید از ابزار URL inspection tool استفاده کنید.

1 – شباهت ربات گوگل و مرورگر وب – ربات های گوگل دقیقا چکار می کنند؟

2 – ربات های گوگل هر چند وقت یکبار به سایت سر می زنند؟

این سوال هینتون سوال بسیار جذابی بود، اما پاسخ اسپلیت به این سوال از آنچه که تصور می کنید جالب تر بود. در واقع اسپلیت در پاسخ به این سوال هر آنچه که لازم بود توضیح داده شود را به روی میز گرد مصاحبه آورد.

اسپلیت در ابتدای پاسخ خود توضیح داد که میزان فعالیت ربات های گوگل در بعضی روزها بیشتر و در بعضی روزها کمتر است.

برای مثال در روز بلک فرایدی یا همان جمعه سیاه که روز پرکاری برای فروشگاه های اینترنتی است ربات های گوگل باید به صفحات زیادی سر بزنند؛ یا در روزهایی که اخبار مهم بین المللی منتشر می شود احتمالا میزان فعالیت ربات های گوگل بیشتر از روزهای عادی است.

اسپلیت بعد از اشاره به این موضوع، توضیح داد که ربات های گوگل برای بررسی محتوای سایت ها به بازه زمانی انتشار محتوا و نوع و موضوع محتوا توجه می کنند.

در واقع اگر ربات گوگل را یک انسان در نظر بگیریم سوالی که ربات های گوگل از خود می پرسند چیزی شبیه به این سوال است:

آیا لازم است که به طور مداوم محتوای این سایت بررسی و ایندکس شود و در اختیار کاربران قرار بگیرد؟

چرا محتوا معیار بازدید گوگل بات از صفحات سایت است؟

اسپلیت همیشه برای بیان مفاهیم از مثال های جالبی استفاده می کند. او در مورد زمانبندی بازدید ربات های گوگل از سایت های مختلف از این مثال استفاده کرد.

سه سایت با محتوای متفاوت را فرض کنید. یکی از آن ها سایتی خبری است که در طول روز تعداد زیادی محتوا در آن منتشر می شود. محتوای این صفحات اخبار روز هستند و باید به سرعت به دست کاربر برسند.

حالا یک فروشگاه اینترنتی را در نظر بگیرید که محتوای آن هر چند روز یا چند هفته تغییر می کند و محتوای کمتری نسبت به یک سایت خبری در آن منتشر می شود.

سومین مورد، سایت یک موزه است. احتمالا محتوای این سایت هر چند ماه تغییر می کند و تعداد محتوایی که به آن اضافه می شود بسیار کم است. مطمئنا گوگل به سایت خبری که محتوای تازه بیشتری در اختیار کاربران قرار می دهد بیشتر از سایت یک موزه یا فروشگاه اینترنتی سر می زند، چرا که صفحات اخبار این سایت که جدیدا منتشر شده اند باید به سرعت در دسترس کاربران اینترنت قرار گیرند.

اسپلیت این نکته را اضافه کرد که اگر ربات های گوگل تشخیص دهند یک سایت اسپم است میزان خزش ربات های گوگل در این سایت بسیار کم می شود و در برخی موارد به صفر می رسد.

ضمنا اگر به ربات های گوگل اعلام کنید که نمی خواهید سایت شما بررسی شود، گوگل بات ها تا زمانی که درخواست ایندکس شدن مجدد این صفحات را ارسال کنید، به وبسایت شما باز نمی گردند.

از طریق فایل robots.txt می توانید عدم تمایل به بررسی و ایندکس صفحات سایت در گوگل را اعلام کنید. اسپلیت در بخشی از این مصاحبه توضیح داد که ربات های گوگل به دستوراتی که در فایل robots.txt قرار می گیرد احترام می گذارند.

ربات های گوگل فروشگاه های اینترنتی بزرگ را چطور ایندکس می کنند؟

اسپلیت توضیحات جذابی در مورد ایندکس کردن فروشگاه های اینترنتی با تعداد صفحات زیاد ارائه داد. او توضیح داد که ربات های گوگل نمیتوانند تمام صفحات یک فروشگاه اینترنتی بزرگ را به یکباره ایندکس کنند. این مسئله دو علت اصلی دارد:

  1. منابع بسیار زیادی برای ایندکس کردن تمام این صفحات مورد نیاز است.
  2. این کار باعث می شود فشار زیادی به منابع سرور فروشگاه اینترنتی مورد نظر وارد شود.

فرض کنید یک فروشگاه اینترنتی با 30 دسته بندی محصول دارید که در هر دسته صدها صفحه محصول قرار دارد؛ اگر قرار باشد ربات های گوگل یکباره هزاران صفحه را ایندکس کنند فشار بسیار زیادی به منابع سرور سایت شما وارد می شود و به دلیل مصرف زیاد پهنای باند سایت از دسترس خارج می شود.

در چنین سایت هایی که تعداد صفحات زیادی دارند ربات های گوگل پیش از هر چیز پتانسیل سایت مورد نظر را بررسی می کنند.

در واقع برای بررسی و ثبت صفحات در سایت های بزرگ ربات های گوگل اندازه ای در نظر می گیرند. این اندازه که در بازه های زمانی مختلف تغییر می کند Crawl Budget نام دارد. فرآیند بررسی و ثبت صفحات سایت تا حدی انجام می شود که فشاری بر منابع سرور فروشگاه اینترنتی وارد نشود. البته قبل از بررسی سایت های بزرگ با تعداد صفحات زیاد، توان ربات های در دسترس گوگل هم بررسی می شود.

اسپلیت به این نکته هم اشاره کرد که خطاهای کراول (Crawl errors) در میزان کراول شدن سایت توسط ربات ها تاثیر زیادی دارند. هرچه ربات های گوگل بیشتر با خطا رو به رو شوند بودجه خزش سایت شما کاهش پیدا می کند، اما در صورتی که با خطای کمتری رو به رو شوند میزان خزش تا حد ممکن افزایش می یابد. وجود خطاهای بسیار در فرآیند خزش ربات های گوگل حتی می تواند نرخ خزش این ربات ها را تا نزدیک شدن به صفر برساند.

خطاهای خزش ربات های گوگل در بخش Crawl errors ابزار گوگل سرچ کنسول قابل مشاهده است. رفع این مشکلات مسئله مهمی است که نباید به آن بی توجهی کنید.

ماجرای ربات های گوگل و سایت های جاواسکریپتی

گوگل برای کراول کردن برخی از وبسایت ها و یا وب اپلیکیشن ها که بر اساس جاوا اسکریپت ساخته شده اند از مرورگرهایی با نام WRS (Web Rendering Service) استفاده می کند. این مرورگرها نوعی از ربات های گوگل هستند. اسپلیت تایید کرد که با استفاده از توانایی رندر کردن کدهای جاوا اسکریپت، این مرورگرها توانایی خواندن این کدها را دارند.

برای مثال اگر شما یک لینک را در صفحه ای از سایت که با استفاده از جاوا اسکریپت ساخته شده قرار دهید، فرآیند مشاهده این لینک توسط ربات های گوگل به این شکل است:

  1. کدهای جاوا اسکریپت توسط ربات های گوگل خوانده و اجرا می شوند.
  2. سپس کدهای جاوا اسکریپت به کدهای html تبدیل می شود.
  3. در آخرین مرحله لینک قرار گرفته در کد html توسط ربات های گوگل بررسی می شود.

البته این فرآیند ممکن است به زمان بیشتری نیاز داشته باشد، بنابراین برای سرعت بخشیدن به فرآیند درک این صفحات توسط ربات های گوگل استفاده از تکنیک داینامیک رندرینگ (Dynamic Rendering) توصیه می شود. با استفاده از این روش، زمانی که گوگل بات ها برای بررسی یک صفحه از سایت یا اپلیکیشنی که با جاوا اسکریپت ساخته شده می آیند، سرور متوجه حضور آن ها شده و به جای نسخه جاوا اسکریپت، نسخه html همان صفحه را برای بررسی در دسترس ربات گوگل قرار می دهد.

داینامیک رندرینگ چه تاثیری در درک گوگل از سایت ما دارد

Mobile-first indexing و Mobile friendliness – دو مفهوم مشابه، اما متفاوت

اسپلیت در این مورد توضیح داد که این دو مفهوم معمولا با یکدیگر اشتباه گرفته می شوند.

در Mobile-first indexing ربات های گوگل نمایش صحیح محتوا در نسخه موبایل را بررسی می کنند. این ربات ها که با نام Mobile Googlebot شناخته می شوند، وبسایت را با استفاده از تگ Viewport بررسی و ایندکس می کنند تا مطمئن شوند محتوای صفحه برای کاربران موبایل به خوبی نمایش داده می شود.

Mobile-first indexing زمانی انجام می شود که معیار گوگل برای رتبه بندی صفحه مورد نظر، محتوای نمایش داده شده در نسخه موبایل باشد.

اما در Mobile friendliness موارد زیر بررسی می شود:

  • کلیک آسان بر روی دکمه ها در نسخه موبایل
  • فونت مناسب و خوانا

این موارد که تعیین کننده کیفیت محتوای صفحه (Quality Indicators) هستند تنها یکی از 200 فاکتور تاثیرگذار در نتایج گوگل محسوب می شوند. ربات های گوگل این 200 فاکتور را به صورت متادیتا (Meta data) ایندکس می کنند و رتبه بندی براساس این اطلاعات ایندکس شده انجام می شود.

اسپلیت به این مسئله اشاره کرد که هر کدام از فاکتورهای تاثیرگذار در کسب جایگاه می توانند مانند قدمی رو به جلو باشند تا رتبه سایت شما را بهبود ببخشند.

برای مثال اگر دو صفحه با شرایط یکسان در یک کلمه کلیدی جایگاهی نزدیک به هم داشته باشند، گوگل صفحه ای را که نمایش محتوای آن در نسخه موبایل مناسب است را به گزینه ای که نمایش متناسب با موبایل ندارد ترجیح می دهد و به آن صفحه رتبه بهتری می دهد.

نکته جالب این است که اسپلیت در این ویدیوها، تاکید شدیدی بر این مسئله دارد که تمام فاکتورهای سئو به تنهایی، بخش کوچکی از 200 فاکتور رتبه بندی هستند. او در این ویدیو نیز چندمرتبه به این مسئله اشاره می کند.

صحبت های پایانی اسپلیت برای پایان دادن به باورهای غلط

جملات پایانی اسپلیت همگی برای پایان دادن به باورهای اشتباهی بود که هنوز هم در زمینه سئو رواج دارند.

بعد از اینکه اسپلیت دوباره به 200 عامل ارزش گذاری گوگل اشاره کرد سوز هینتون جمله جالبی را به زبان آورد:

“می دانم که نمی توانید این 200 عامل تاثیرگذار را معرفی کنید، چرا که در گذشته از روش های مختلف برای دورزدن و بازی دادن گوگل استفاده شده است.”

اسپلیت در صحبت های پایانی به این موضوع پرداخت که نمی توان وزنی برای فاکتورهای تاثیرگذار در نتایج مشخص کرد. تاثیر این عوامل در حال تغییر است و معیار ثابتی برای آن ها وجود ندارد.

بهترین حسن ختام برای پایان دومین مصاحبه گوگل جملاتی بود که مارتین اسپلیت در مورد یک باور اشتباه بزرگ در سئو به زبان آورد:

“محتوای خوب بسازید و جواب مثبت بگیرید. اگر از علاقه مندان و برخی متخصصین سئو بپرسید مهمترین فاکتور تاثیرگذار در سئو چیست، ممکن است با این پاسخ رو به رو شوید؛

بک لینک مهمترین فاکتور تاثیرگذار در سئو است.

این جواب آسان ترین و البته اشتباه ترین پاسخ به این سوال است. بک لینک هم مانند 200 فاکتور دیگر در کسب نتایج بهتر موثر است، اما تنها این فاکتور در سئو تاثیرگذار نیست”

دوره آموزش سئو تکنیکال

آموزش سئو تکنیکال

سئو تکنیکال یعنی رعایت استانداردهای سئو در طراحی سایت. روش های مختلفی برای کدنویسی سایت و نمایش محتوا به کاربر و گوگل وجود دارد. در این کارگاه 4 ساعته می آموزیم چه استانداردهایی را باید هنگام کدنویسی سایت در نظر بگیریم.

اطلاعات بیشتر
پرسش و پاسخ
امتیاز شما به این محتوا ارسال دیدگاه
زهره ابوطالب 9 شهریور 1398

سلام من نمیدونستم الگوریتم های گوگل میتونن اینقدر هوشمند عمل کنند. مرسی بابت این همه اطلاعات مفید. واقعاً تیم خوبی هستید.

تحریریه آکادمی 11 شهریور 1398

سلام بر شما کاربر گرامی،
حوشحالیم که این مقاله تونسته برای شما مفید باشه. در صورت تمایل میتونید این مقاله رو با دیگران هم به اشتراک بگذارید 🙂

پشتیبانی آکادمی وبسیما
پشتیبانی آکادمی وبسیما
شیما فقیه پور

سلام، شیما فقیه پور هستم.

به شما کمک میکنم که متناسب با تجربه و نیاز خود کارگاه مناسب را انتخاب کنید.

از صحبت با شما خوشحال خواهم شد.

0902-2323-460
دوره آموزش سئو تکنیکال
کارگاه آموزش سئو تکنیکال
5 مهر
وبسیما
ثانیه دقیقه ساعت روز
ثبت نام