Google Crawler یا خزنده گوگل چگونه وبسایت شما را crawl میکند؟

یکی از توانایی‌های گوگل در حوزه سئو Google Crawler یا گوگل خزنده هست. اسم عجیبیه نه؟ میدونین که در کل این اصطلاح چه مفهومی داره؟ و یا گوگل از داشتن و انجام اون چه هدفی رو در پیش داره؟ و یا حتی این گزینه در بهبود وبسایت شما هم میتونه نقش داشته باشه یا نه؟

برای پاسخ تک تک سوالات بالا وقتشه که ادامه مقاله رو تا آخر بخونبد.

خزنده گوگل و فهرست ساز چیست؟

خزندگی و فهرست سازی مطالب نوشته شده رو واضحتر و قابل تشخیص‌تر میکنن. خزندگی زمانی اتفاق میفته که بات گوگل سراغ محتوا و کدهای صفحه وب میره و اون‌ها رو تحلیل و بررسی میکنه. فهرست سازی یا Indexing مربوط به زمانی است که همون صفحه خوب و مطلوب باشه و حتی در نتیجه‌های جستجو گوگل هم دیده بشه.

باید این هم بگم که از زمان به روزرسانی Google Panda، دامنه یا Domain هم اهمیت بالایی پیدا کرده. وقتی صفحه وب شما به درستی خزنده و فهرست‌سازی یا ایندکس بشه، کسب و کار شما در دنیای آنلاین رشد میکنه.

بات گوگل یا GoogleBot چیست؟

GoogleBot یه نرم افزار بات جستجو است که گوگل از اون برای جمع آوری مدارک از وب موردنظر به منظور ساخت ایندکس جستجو برای موتور جستجوی گوگل استفاده میکنه.

GoogleBot دقیقا بازوی موتور جستجوی گوگل هست که صفحه‌های وب شما رو میخزه یا کراول میکنه تا در آخر یک ایندکس خوب بسازه. بات گوگل به عنکبوت یا Spider هم معروفه. GoogleBot به کمک یادگیری ماشینی که داره در صفحه‌های وبی که شما به بات اجازه دسترسی به اون رو دادید، میخزه و اونا رو به فهرست گوگل میفرسته تا اونجا بنونن بازیابی بشن و طبق درخواست‌های جستجوی کاربران پیدا بشن.

چطور بفهمید صفحه سایت ایندکس شده؟

گزارش اطلاعات فهرست گوگل در کنسول جستجوی گوگل یا Google Search Console یک URL از شما وارد میکنند. ابزار بازرسی URL یا URL Inspector وضعیت فعلی شما رو در ایندکس گوگل نشون میدن. برای این بازرسی و گرفتن گزارش وضعیت فهرست، باید حتما URL خود را کامل و درست وارد کنید.

شما میتونید از Fetch که از ابزارهای گوگل هست برای دیدن وبسایت خودتون پس از خزیده شدن توسط گوگل استفاده کنید. با این کار میتونید نحوه فهرست شدن صفحه رو با توجه به وضعیت صفحه بفهمید. مثلاً آیا صفحه شما در نسخه ذخیره شده مشکلی داره یا درست و کامل نمایش داده میشه.

نسخه ذخیره شده یا Cached یه نسخه دیگه جمع آوری شده توسط سرورهای گوگل هست که امکان نمایش زنده در همون لحظه رو نداره.

اهمیت Google Crawler و Indexing

خزیده شدن وبسایت شما توسط گوگل و ایندکس شدن درست اون موضوع خیلی مهم در موفقیت بازاریابی اینترنتی است. شما باید صفحه خزیده شده و خوب در ایندکس گوگل داشته باشین تا موفق بشین. وقتی نقشه سایت در پوشه اصلی وب شما آپلود نشده باشه، Google Crawler برای خزیدن سایت شما مدت زمان بیشتری نیاز داره مثلا ۲۴ ساعت یا بیشتر. و این زمان برای فهرست سازی یا Indexing مطالب یه وبلاگ با یه وبسایت بزرگتر و پیچیده تر که تعداد صفحه‌های زیادی داره، بیشتر هم میشه.

بیشتر کاربران اینترنت متوجه قدم‌هایی که شما در مسیر بهبود میزان خزندگی و ایندکس شدن سایت خودتون طی کردین، نمیشن و نمیدونن شما چقدر زحمت میکشین تا سایت خودتو رو به گوگل معرفی کنین و در نتیجه خزنده گوگل هم سایت شما را Crawl کنه و در لیست نتایج جستجو نشون بده. فهرست جستجوی گوگل شامل صدها میلیارد صفحه وب و حجم ۱۰۰,۰۰۰,۰۰۰ گیگابابت فایل و اطاعات است.

چگونه صفحه های قدیمی رو به خزنده گوگل معرفی کنید؟

گوگل در صفحه های بی‌ارزش مختلفی رو که الان وضعیت ۴۰۴ پیدا کردن هم میخزه. به طور معمول صفحه های قدیمی تا وقتی باقی میمونن که هنوز هم توسط Google Crawler خزیده بشن. وقتی گوگل میاد سراغ یه سایت و به صفحه های قدیمی سر میزنه، دیتابیس ایندکس خودشو با خزیدن دوباره بین آدرس اون صفحه های قدیمی آپدیت میکنه.

پیشنهاد میکنیم که از وضعیت های ۴۰۱ یا ۴۰۴ برای مدیریت صفحه‌های قدیمی استفاده نکنین؛ چون تو ایندکس شدن صفحات شما مشکل ایجاد می‌کنه.

نکات مهم در مورد خزنده گوگل

1. اگر میخواهین که صفحه شما خزیده و ایندکس بشه، باید عنکبوت‌های موتور جستجوی گوگل بتونن صفحه وب شما رو به درستی شناسایی و ایندکس کنن. پس باید URL های سایت رو چک کنین که مشکل ایندکس شدن نداشته باشن.
2. حتماً از کنسول جستجوی گوگل Google Search Console برای بررسی وضعیت ایندکس شدن صفحات سایت خودتون استفاده کنین.

نگاهی بر نحوه کار Google Crawler

1. خزیده شدن دائمی وبسایت قدم اول Google Crawler است که باید بدونید. خود بات گوگل اشاره میکنه نباید به طور متوسط یعنی بیشتر از یکبار در هر چند ثانیه خزندگی اتفاق بیفته. پس شما باید سایت رو برای خزنده گوگل در درسترس و مناسب آماده کنید.
2. در کنار این مفاهیم یه مفهومی هست به اسم رتبه خزنده گوگل که سرعت درخواست‌های GoogleBot هست. این به معنی میزان خزندگی سایت شما توسط گوگل خزنده نیست.
   به طور معمول کسب و کارهای پر بازدید از به روزرسانی‌های بالا، بک لاین‌های مرتبط قوی و با اختیار، جواب‌ها و اشتراک‌های اجتماعی و غیره به وجود می‌آیند. حالا وقتی سایت شما از این دسته باشه در قسمت بالای نتایج جستجو قرار میگیره.
3. شروع روال کار گوگل با دسترسی به فایل robots.txt است. گوگل با استفاده از این فایل یاد میگیره که صاحب پیج چه چیزی از محتوا رو مجاز برای خزندگی و فهرست بندی توسط گوگل کرده. بنابراین هر پیجی که اعلام بشه غیرمجازه، فهرست بندی نمیشه.
   به طور کلی اگه میخواین سئو سایت شما خوب بشه، همیشه باید فایل robots. txt رو آپدیت و به روز نگه دارین.
   دونستن مدیریت خزندگی به وسیله فایل robots. txt یه امر حرفه ایست و وبمستر وبسایت شما باید حواسش به فایل robots. txt باشه و بدونه اکه مشکلی پیش اومد، چه جوری اونو حل کنه.
4. قدم بعدی گوگل خواندن sitemap.xml است. با این که موتورهای جستجو نیازی به نقشه سایت برای کشف صفحه های سایت ندارن، اما در واقعیت برای کراول کردن و ایندکس کردن صفحه های یه سایت از فایل سایت مپ استفاده میکنن.
5. موتورهای جستجو در سایتهایی که بیشترین ضریب اطمینان را دارند میخزند. اگر صفحهٔ شما رتبه پیج یا PageRank خوبی به دست بیاره، اون وقت شما میتونید زمان‌های خزندگی شده توسط گوگل خزنده رو در بخش «بودجه خزندگی» ببینین. هر قدر سایت شما اعتماد و قدرت بیشتری به دست بیاره، یعنی دامین آتوریتی یا اعتبار دامنه بالاتری داشته باشه، از طرف گوگل بودجه خزیدن بیشتری براش در نظر گرفته میشه. و این روی سئوی سایت و به دست آوردن رتبه بالا تو سرچ گوگل خیلی تاثیر داره.

تاثیر علامت گذاری محتوا در Google Crawler

هنگامی که متخصص سئو به درستی محتوا را علامت گذاری کنه، یعنی Markup صفحات خوب و بدون ایراد باشه، از تگ های مناسب استفاده شده باشه و اصول آماده سازی محتوا بر اساس تکنیک های سئو رعایت شده باشه، گوگل میتونه راحت‌تر و بهتر در صفحات شما بخزه، اونا رو شناسایی کنه و در نهایت ایندکس کنه. و این یعنی که وب سایت شما وضعیت بهتری در نتایج جستجوی گوگل خواهد داشت.

همیشه در نظر داشته باشین که گوگل یه ماشینه ولی طوری طراحی شده که انرژیش رو صرف صفحات و وب سایت های باارزش میکنه. اگه ببینه خزیدن و ایندکس کردن یه سایت کلی دردسر داره و قراره به کلی باگ و ایراد بخوره و بشینه فکر کنه فلان کد منظورش چیه و چرا این عکس سایزش اینجوریه … کلاً بیخیال اون سایت میشه!

علامت گذاری محتوا با مشخص کردن خصوصیات محتوا وب و فعال کردن اقدامات طرحواره اتفاق میفته. برای این کار دو تا نکته زیر رو حتماً در نظر داشته باشین:

1. بهترین نوع داده رو از schema.org ارائه بدین.
2. بخشی از نشانه گذاری‌ها که شامل محصولات و خدمات اصلی شماست، ایجاد کنید.

مشکلاتی که Google Crawler ممکن است با آنها مواجه شود

1. سایت‌هایی با URL یا آدرس های اینترنتی و ساختارهای پیچیده که بیشتر مربوط به پارامتر های URL است. همچین سایتهایی ممکنه خزنده گوگل رو به دردسر بندازن و کارش رو مشکل کنن. البته این امر به این معنی نیست که گوگل گیج میشه و نمیتونه سایت شما رو ایندکس کنه. بلکه باعث میشه خیلی از منابع که قرار بوده به طور هوشمندانه‌ای صرف خزیده شدن تو صفحه های سایت شما بشه داره هرز میره و بودجه کراول یا Crawl udget شما داره الکی مصرف میشه.
2. بات گوگل ممکنه وقتی میبینه بخش‌هایی از مسیر مدام تکرار میشن، و باید هی دوباره کاری کنه، سرعت خزیدن تو وبسایت شما رو پایین بیاره.
3. در ارائه محتوا، اگر Google Crawler نتونه محتوا صفحه رو بدون مشکل و بدون وقفه زمانی از لیست اینندکس خودش بیرون بکشه، میاد یه صفحه‌هایی رو همینطوری ارائه میده تا ببینه چی پیش میاد. حتماً تجربه کردین که یه چیزی سرچ می کنین و گوگل نتیجه پرت و پلا بهتون ارائه میده! این میتونه علتش این باشه که راجع به اون موضوع چیز خاصی تو اینترنت نیست یا این که صفحه هایی که هستن خوب علامت گذاری نشدن و گوگل نمیتونه اونا رو درست تشخیص بده.

مهم‌ترین اطلاعاتی که Crawl میشوند

• URL یا آدرس های اینترنتی: آدرسهای URL وب صفحه‌های شما، پست‌ها و کلمات کلیدی
• برچسب‌های عنوان صفحه: عنوان صفحه‌ها، اسم صفحه وب یا پست بلاگ یا مقاله‌های خبری رو نشون میده.
• داده خیلی بزرگ یا ابرداده: این گزینه شامل توضیحات پیج، نشانه گذاری اطلاعات ساختار یافته و کلمات کلیدی رایج میشه.

اینها در واقع اون دسته از  اطلاعات اصلی‌ هستن که بات گوگل هنگام خزیدن اونها رو استخراج میکنه. و البته که این کار خیلی شبیه روند فهرست سازی یا ایندکس کردن گوگه. در واقع خزیدن گوگل یا Google Crawling مفهوم پایه ایندکس شدن صفحه های سایت است.

برای سایتی که در حال پیشرفته و به قول معروف تازه داره پا میگیره، پیچیدگی‌های بسیار بیشتری مثل نحوه خزیدن گوگل در سایت، بودجه کراول و نحوه نمایش نتایج جستجو وجود داره.

توجه داشته باشید که گوگل موقعی که میخواد در نتایج جستجو سایت ها رو لیست کنه و به مخاطب نشون بده، به دیتابیس خودش مراجعه میکنه. پس اگه به هر دلیلی سایت شما ایندکس نشده باشه، حتی اگه شما بهترین سایت دنیا رو داشته باشین و بهترین محتوا رو هم آماده کرده باشین، هیچ جایی تو نتایج سرچ گوگل نخواهید داشت. حتی تو صفحه آخر!

هر چند وقت یک بار GoogleBot سایت را Crawl میکند؟

سایت های جدید و سایت هایی که خیلی کم به روز میشن، خیلی کم هم خزیده میشن. به طور متوسط، GoogleBot در بیشترین سرعت با فرض این که همه کارها درست انجام بشه، هر چهار روز یه بار میاد سراغ یه سایت جدید که تازه شروع به کار کرده  و سعی میکنه تو اون بخزه. حتی یه آمارهایی هم هست که میگه گاهی وقتا چهار هفته هم شده که گوگل سراغ یه سایت نیومده تا اونو Crawl کنه. این نشون میده که سر گوگل واقعاً شلوغه و میره سراغ سایت هایی که ارزش وقت گذاشتن رو داشته باشن.

اگر چه که در کل پاسخ این سوال یک پاسخ «وابسته» است. چون حتی ادعای اینکه یه سایتی هر روز هم توسط گوگل خزیده میشه رو هم داشتیم! ولی در کل، خود گوگل اعلام کرده که زمان سر زدن به یه سایت و کراول کردن و ایندکس کردن اون به کلی فاکتور بستگی داره. یکیش سئو تکنیکال و بی نقص بود کد و برنامه نویسی سایت.

راه‌های رسیدن سریع به محتوا ایندکس شده

1. لینک سازی به سمت محتوا تازه از صفحه مرکزی یا صفحه اصلی وبسایت خودتون
2. دعوت بات‌های گوگل با اشتراک گذاری یک یا دو لینک از پست‌های بلاگ به صورت ویدیو در یوتیوب یا سایر شبکه های اجتماعی
3. آپدیت کردن همیشگی نقشه سایت
4. اضافه کردن لینک محتوا جدید در قسمت RSS ( RSS باید قابل خزیدن توسط گوگل باشه)

حالا که دیگه با هم راجع به اهمیت Google Crawler یا خزنده گوگل و نکات مهم اون در دیده شدن سایت صحبت کردیم، خوشحال میشم که اگر تجربه‌ای در مورد گوگل کراولر دارین یا به مشکلی تو این زمینه برخوردین باهام درمیون بذارین.