مشاهده سایت از دید گوگل بات در کروم: راه اندازی و مزایا

برای سئوکاران فنی، مشکلات رندرینگ سایت، به ویژه در وب‌سایت‌های سنگین می‌تواند باعث افت رتبه و ایجاد محتوای پنهان شود. اگر در کراول و ایندکس صحیح وب‌سایت توسط گوگل‌بات دچار مشکل شده اید، استفاده از کروم (یا Chrome Canary) برای شبیه‌سازی و مشاهده سایت از دید گوگل بات به کار می‌آید. این روش اختلاف بین آنچه کاربران و موتورهای جستجو می‌بینند را آشکار کرده و عملکرد سایت را تضمین می‌کند. در این مقاله، نحوه راه اندازی مرورگر گوگل بات، رفع مشکلات رندرینگ و بهبود ممیزی‌های سئو را خواهید آموخت.

تصویر(۱)

دلیل مشاهده سایت به عنوان Googlebot

در گذشته، ممیزی های سئو ساده‌تر بودند زیرا وب‌سایت‌ها عمدتاً بر پایه HTML و CSS ساخته می‌شدند و جاوا اسکریپت فقط برای جلوه‌های بصری جزئی مانند انیمیشن‌ها استفاده می‌شد. امروزه بسیاری از وب‌سایت‌ها کاملاً بر پایه جاوا اسکریپت طراحی می‎گردند که باعث انتقال بار پردازشی از سرور به مرورگر می‌شود. این تغییر موجب می‌گردد که رندر صفحات توسط ربات‌های جستجو، از جمله گوگل‌بات، سمت کلاینت انجام شود، فرآیندی که منابع زیادی مصرف کرده و ممکن است با تاخیر همراه باشد.

تصویر(۲)

مشکلات گوگل‌بات با جاوا اسکریپت

ربات‌های جستجو معمولاً در پردازش جاوا اسکریپت با مشکل مواجه می‌شوند. به عنوان مثال، گوگل‌بات ابتدا HTML خام را پردازش می‌کند و ممکن است محتوای جاوا اسکریپتی را با توجه به پیچیدگی وب‌سایت، تا چند روز یا حتی چند هفته بعد رندر نکند. برخی سایت‌ها برای دور زدن این مشکل از رندرینگ پویا (Dynamic Rendering) استفاده می‌کنند، یعنی نسخه‌ای که به ربات‌ها ارائه می‌شود، از سمت سرور پردازش شده، در حالی که کاربران نسخه سمت کلاینت را دریافت می‌نمایند.

به طور کلی، این روش باعث پیچیدگی بیش از حد وب‌سایت‌ها می‌شود و مشکلات فنی سئو را نسبت به سایت‌های سنتی HTML یا سایت‌هایی که رندرینگ سمت سرور دارند، بیشتر می‌کند. وب‌سایت‌ها باید به گونه‌ای طراحی شوند که در ابتدایی‌ترین دستگاه‌ها نیز به درستی اجرا شده و جاوا اسکریپت فقط برای بهبود تجربه کاربری روی دستگاه‌هایی که قابلیت پردازش بیشتری دارند، استفاده گردد.

مشاهده سایت از دید گوگل بات به شما امکان می‌دهد اختلافات بین آنچه ربات‌ها و کاربران می‌بینند را شناسایی کنید. اگرچه لازم نیست این دو کاملاً یکسان باشند اما عناصر حیاتی (مانند ناوبری و محتوا) باید همخوانی داشته باشند. این روش به شناسایی مشکلات ایندکس و رتبه بندی که ناشی از محدودیت‌های رندرینگ سایت و سایر ویژگی‌های خاص ربات‌های جستجو هستند، کمک می‌کند.

آیا امکان مشاهده سایت از دید گوگل بات به صورت دقیق وجود دارد؟

گوگل‌بات صفحات وب را با یک نسخه بدون رابط کاربری (Headless) از مرورگر کروم رندر می‌کند و حتی با تکنیک‌های مطرح‌شده در این مقاله، تقلید کامل از رفتار آن غیرممکن است. بنابراین، نحوه پردازش جاوا اسکریپت توسط گوگل‌بات می‌تواند غیرقابل پیش‌بینی باشد.

به عنوان مثال یک باگ قابل‌توجه در سپتامبر ۲۰۲۴ باعث شد گوگل تگ‌های متای noindex را درون کدهای رندرشده سمت کلاینت برای بسیاری از سایت‌های مبتنی بر React تشخیص ندهد. مشکلاتی از این دست، محدودیت‌های شبیه‌سازی گوگل‌بات، به ویژه برای عناصر مهم سئو مانند تگ‌ها و محتوای اصلی را نشان می‌دهند.

اگرچه شبیه سازی کامل مشاهده سایت از دید گوگل بات ممکن نیست اما هدف این است که رفتار گوگل‌بات در mobile-first indexing تا حد امکان بازسازی شود. برای این کار، از ترکیب چند ابزار استفاده خواهد شد:

• یک مرورگر گوگل بات برای شبیه‌سازی مستقیم.
• Screaming Frog SEO Spider برای جعل هویت و رندرینگ به عنوان گوگل‌بات.
• ابزارهای گوگل مانند URL Inspection در سرچ کنسول و Rich Results Test برای بررسی اسکرین‌شات‌ها و تحلیل کد.

ابزارهای گوگل، مخصوصا از زمانی که در ۲۰۲۳ به User-Agent جدید “Google-InspectionTool” تغییر کردند، دقیقاً همان چیزی را که گوگل‌بات می‌بیند، نمایش نمی‌دهند اما وقتی در کنار مرورگر گوگل‌بات و SEO Spider استفاده شوند، می‌توانند در شناسایی مشکلات و عیب‌یابی مفید باشند.

چرا باید یک مرورگر جداگانه برای مشاهده سایت از دید گوگل بات استفاده کرد؟

استفاده از یک مرورگر اختصاصی برای مشاهده سایت از دید گوگل بات، ضمن ساده سازی ممیزی های سئو، نتایج را دقیق‌تر می‌کند. دلایل آن در ادامه آورده شده است:

۱. راحتی و صرفه‌جویی در زمان

یک مرورگر اختصاصی برای مشاهده سایت از دید گوگل بات، فرآیند شبیه‌سازی را بدون نیاز به تغییر مداوم User-Agent در افزونه‌های مرورگر، سریع‌ و بی‌دردسر می‌کند. این موضوع به خصوص هنگام بررسی سایت‌هایی با پاسخ‌های سمت سرور ناپایدار یا محتوای داینامیک، اهمیت بیشتری پیدا خواهد کرد.

همچنین برخی تنظیمات کروم برای مشاهده سایت از دید گوگل بات (مانند غیرفعال‌سازی جاوا اسکریپت) در تب‌های جدید یا سشن های بعدی حفظ نمی‌شوند و ممکن است در کار سایر تب‌های شما اختلال ایجاد کنند. یک مرورگر جداگانه این مشکلات را برطرف کرده و ممیزی را ساده‌تر می‌کند.

۲. دقت بالاتر

افزونه‌های تغییر User-Agent ممکن است ناخواسته روی نحوه نمایش و عملکرد وب‌سایت تأثیر بگذارند. یک مرورگر اختصاصی برای مشاهده سایت از دید گوگل بات، تعداد افزونه‌های فعال را کاهش داده و باعث می‌شود تجربه واقعی‌تری از دید Googlebot داشته باشید.

۳. جلوگیری از خطاها و انسداد

خاموش نکردن Googlebot Spoofing در مرورگر استاندارد، می‌تواند باعث خرابی عملکرد سایت‌ها یا حتی انسداد دسترسی شما شود. حتی ممکن به دلیل جعل هویت گوگل‌بات، دسترسی‌ برخی سایت‌ها قطع شده و مجبور شوید برای رفع بلاک، ایمیلی با IP خود ارسال نمایید.

۴. انعطاف‌پذیری در مواجهه با چالش‌ها

مدت‌ها است که استفاده از مرورگر گوگل‌بات در بررسی سایت‌ها رواج داشته اما با ظهور Cloudflare و سیاست‌های امنیتی سختگیرانه سایت‌های تجارت الکترونیک، گاهی نیاز است که مدیران سایت‌ها IP مشخصی را در لیست مجاز خود قرار دهند تا امکان بررسی و مشاهده سایت از دید گوگل بات فراهم شود.

در شرایطی که امکان افزودن IP به لیست مجاز وجود نداشته باشد، گزینه‌های جایگزینی مانند Bingbot یا DuckDuckBot مورد استفاده قرار می‌گیرند. هرچند این روش‌ها دقت شبیه‌سازی گوگل‌بات را ندارند اما همچنان اطلاعات مفیدی ارائه می‌دهند. علاوه بر این، بررسی HTML رندر شده در گوگل سرچ کنسول نیز یکی از روش‌های کارآمد محسوب می‌شود که با وجود تفاوت در User-Agent، همچنان به درک رفتار گوگل‌بات کمک می‌کند.

در صورتی که سایت موردنظر، دسترسی به گوگل‌بات‌های غیر اصلی را محدود نکرده و امکان مجاز کردن IP وجود داشته باشد، مرورگر اختصاصی گوگل‌بات همچنان بهترین ابزار برای بررسی دقیق رفتار خزنده گوگل به شمار می‌آید. این مرورگر قابلیت‌هایی فراتر از یک User-Agent Switcher ارائه می‌دهد و جامع‌ترین روش برای مشاهده سایت از دید گوگل‌بات محسوب می‌شود.

کدام ممیزی های سئو برای مرورگر گوگل‌بات مفید هستند؟

رایج‌ترین کاربرد یک مرورگر گوگل‌بات، ممیزی سایت‌هایی است که از رندرینگ سمت کلاینت یا داینامیک استفاده می‌کنند. این روش ساده‌ترین راه برای مقایسه چیزی است که گوگل‌بات می‌بیند با آنچه کاربران معمولی مشاهده می‌کنند. این کار به شناسایی اختلافاتی کمک می‌کند که می‌توانند بر عملکرد سایت شما در نتایج جستجو تأثیر بگذارند.

از آنجایی که توصیه می شود تعداد افزونه‌های مرورگر را به حداقل برسانید، این روش تست، دقیق‌تر از مرورگری است که پر از افزونه‌های مختلف باشد. به ویژه هنگام استفاده از ابزار DevTools و Lighthouse پیشفرض کروم برای ممیزی سرعت، می‌توان عملکرد سایت را از دید یک کاربر واقعی ارزیابی کرد. حتی اگر سایتی از رندرینگ داینامیک استفاده نکند، همیشه ارزش دارد که با جعل هویت گوگل‌بات آن را بررسی کنید.

مواردی که باید در ممیزی گوگل‌بات بررسی شوند:

۱. تفاوت در ناوبری: آیا ناوبری اصلی سایت برای کاربران و گوگل‌بات یکسان است؟ برخی سایت‌ها نسخه‌ای ساده‌تر از ناوبری را برای ربات‌های جستجو نمایش می‌دهند که ممکن است باعث مشکلات ایندکس شود.

۲. قابلیت مشاهده محتوا: آیا گوگل‌بات می‌تواند محتوایی که قصد ایندکس شدن آن را دارید، مشاهده کند؟ در برخی موارد، وابستگی محتوای اصلی به جاوا اسکریپت ممکن است از دید گوگل‌بات پنهان بماند.

۳. تاخیر در ایندکس جاوا اسکریپت: اگر سایت برای نمایش محتوا به رندرینگ جاوا اسکریپت متکی است، آیا محتوای جدید به سرعت ایندکس خواهد شد؟ این مسئله در سایت‌هایی که اخبار فوری، رویدادها یا محصولات جدید را منتشر می‌کنند، اهمیت بیشتری دارد.

۴. مشکلات مربوط به پاسخ سرور: آیا URL های سایت پاسخ‌های صحیحی به گوگل‌بات ارائه می‌دهند؟ برای مثال، ممکن است یک URL برای گوگل‌بات کد ۲۰۰ OK نمایش دهد اما کاربران واقعی ۴۰۴ Not Found مشاهده نمایند. چنین تناقض‌هایی می‌توانند در ایندکس شدن صحیح سایت اختلال ایجاد کنند.

۵. تفاوت در نمایش صفحه: برخی موارد، هنگام مشاهده سایت از دید گوگل‌بات، تغییراتی در نحوه نمایش عناصر ایجاد می‌شود. برای مثال، لینک‌ها ممکن است به صورت متن آبی روی پس‌زمینه مشکی نمایش داده شوند. اگر گوگل‌بات نتواند سایت را به درستی رندر کند، ممکن است اولویت‌بندی اشتباهی در ایندکس انجام شود.

۶. تغییر مسیرهای مبتنی بر موقعیت جغرافیایی: بسیاری از سایت‌ها، کاربران را بر اساس موقعیت جغرافیایی به نسخه‌های متفاوت هدایت می‌کنند. با توجه به اینکه گوگل‌بات عمدتاً از آدرس‌های IP مستقر در ایالات متحده سایت‌ها را بررسی می‌کند، باید بررسی گردد که آیا این مکانیزم باعث ایجاد مشکلاتی در ایندکس محتوای بین‌المللی می‌شود یا خیر.

میزان جزئیات بررسی‌شده، به اهداف ممیزی بستگی دارد اما مرورگر کروم ابزارهای داخلی متعددی برای ممیزی فنی سئو ارائه می‌دهد. به عنوان مثال، مقایسه داده‌های تب‌های Console و Network می‌تواند اختلافات بین آنچه کاربران واقعی و گوگل‌بات مشاهده می‌کنند را مشخص نماید. این روش به شناسایی فایل‌هایی که برای گوگل‌بات مسدود شده‌اند یا محتوای مهمی که ممکن است نادیده گرفته شود، کمک می‌کند.

راه اندازی مرورگر گوگل بات

راه اندازی مرورگر گوگل بات حدود ۳۰ دقیقه زمان می‌برد و بررسی صفحات وب از دید Googlebot را تسهیل می‌کند. برای شروع، مراحل زیر را دنبال کنید:

مرحله ۱: دانلود و نصب Chrome یا Canary

اگر Chrome مرورگر پیش‌فرض شما نیست، می‌توانید از آن به عنوان مرورگر Googlebot استفاده کنید. در غیر این صورت، Chrome Canary را دانلود و نصب نمایید.

Canary نسخه توسعه‌دهنگان Chrome است که گوگل برای آزمایش ویژگی‌های جدید از آن استفاده می‌کند. این نسخه جدای از Chrome معمولی اجرا می‌شود و با آیکون زرد رنگ خود متمایز است. دلیل این نام‌گذاری، پرندگان قناری هستند که در معادن برای تشخیص گازهای سمی استفاده می‌شدند.

اگرچه Canary یک نسخه ناپایدار شناخته می‌شود اما تاکنون مشکلی در استفاده از آن برای مشاهده سایت به عنوان Googlebot مشاهده نشده است. علاوه بر این، ویژگی‌های آزمایشی مفیدی برای ممیزی فنی ارائه می‌دهد که در صورت ورود به نسخه پایدار Chrome، شما را از سایر کاربران جلوتر نگه می‌دارد.

مرحله ۲: نصب افزونه‌های مورد نیاز

برای بهینه‌سازی مرورگر Googlebot، پنج افزونه کلیدی و یک Bookmarklet توصیه می‌شود. این ابزارها به شبیه‌سازی رفتار گوگل‌بات کمک کرده و ممیزی سئوی فنی را دقیق‌تر می‌کنند. خصوصا برای سایت‌هایی که وابسته به جاوا اسکریپت هستند، دو مورد از این افزونه‌ها بسیار مفید خواهند بود.

افزونه‌های ضروری برای راه اندازی مرورگر گوگل بات:

• User-Agent Switcher: تغییر User-Agent مرورگر برای تقلید از رفتار گوگل‌بات.
• Web Developer: امکان فعال یا غیرفعال کردن جاوا اسکریپت برای بررسی نحوه پردازش سایت توسط گوگل‌بات.
• افزونه تغییر IP: شبیه‌سازی موقعیت جغرافیایی گوگل‌بات، معمولاً از ایالات متحده، برای بررسی تفاوت‌های مرتبط با موقعیت مکانی.

افزونه‌های مکمل:

• Link Redirect Trace: بررسی سریع پاسخ‌های سرور و هدرهای HTTP برای ممیزی سئوی فنی.
• View Rendered Source: مقایسه HTML خام (تحویل داده‌شده توسط سرور) با HTML پردازش‌شده (نمایش داده‌شده توسط مرورگر).

Bookmarklet پیشنهادی:

• NoJS Side-by-Side: بررسی و مقایسه ظاهر یک صفحه وب با فعال و غیرفعال کردن جاوا اسکریپت برای تشخیص تفاوت‌های احتمالی.

پس از راه‌اندازی این ابزارها، مرورگر شما آماده انجام ممیزی‌های دقیق‌تر از دید گوگل‌بات خواهد بود.

بررسی افزونه‌های پیشنهادی پیش از رفتن به مرحله ۳

افزونه User-Agent Switcher

این افزونه همانطور که از نامش پیدا است، User-Agent مرورگر را تغییر می‌دهد. اگرچه Chrome و Canary به طور پیشفرض امکان تغییر User-Agent را دارند اما این تنظیمات فقط برای تب فعال اعمال شده و پس از بستن مرورگر، مجدداً به مقدار پیش‌فرض بازمی‌گردد. استفاده از این افزونه، باعث حفظ تنظیمات در مرورگر می‌شود.

چگونه باید User-Agent Switcher را تنظیم کرد؟

برای استخراج User-Agent گوگل‌بات از Chrome، مراحل زیر را دنبال نمایید:

1. Chrome DevTools را باز کنید:
   • دکمه F12 را فشار دهید یا از مسیر More tools > Developer tools وارد شوید.
2. به تب Network بروید.
3. از منوی سه‌نقطه در گوشه بالای سمت راست تب Network، گزینه More tools > Network conditions را انتخاب نمایید.
4. در تب Network conditions:
   • گزینه Use browser default را غیرفعال کنید.
   • از لیست موجود، گزینه Googlebot Smartphone را انتخاب نمایید.
   • User-Agent نمایش داده‌شده در قسمت پایین لیست را کپی کنید.
5. این User-Agent را در افزونه User-Agent Switcher قرار دهید.

نکته برای کاربران Chrome:
اگر قصد دارید از Chrome برای مشاهده سایت به عنوان Googlebo خود استفاده کنید، در DevTools، گزینه Disable cache را نیز فعال نمایید تا نتایج تست‌ها دقیق‌تر باشند.

اضافه کردن User-Agent به افزونه:

1. روی آیکون User-Agent Switcher در نوار ابزار مرورگر کلیک راست کرده و گزینه Options را انتخاب کنید.
2. در قسمت Indicator Flag، یک نام برای این User-Agent تعیین نمایید (مثلاً “GS” برای Googlebot Smartphone).
3. User-Agent گوگل‌بات را در لیست افزونه جای‌گذاری کنید.
4. در صورت نیاز، می‌توانید User-Agent های دیگری مانند Googlebot Desktop، Bingbot یا DuckDuckBot را برای بررسی‌های گسترده‌تر اضافه نمایید.

با این روش، امکان مشاهده سایت از دید گوگل بات فراهم می گردد. 

چرا باید User-Agent گوگل‌بات را جعل کرد؟

وب‌سرورها مرورگرها را از طریق رشته User-Agent شناسایی می‌کنند. برای مثال، User-Agent یک دستگاه ویندوز ۱۰ که از مرورگر Chrome استفاده می‌کند، ممکن است به این شکل باشد:

Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36

اگر به تاریخچه User-Agent ها و علت وجود نام سایر مرورگرها در User-Agent کروم علاقه دارید، عبارتی مانند “History of the User-Agent String” را در گوگل جستجو کنید.

افزونه Web Developer

افزونه Web Developer به عنوان یکی از ابزارهای ضروری برای متخصصان سئو فنی شناخته می‌شود، خصوصا در بررسی وب‌سایت‌هایی که وابستگی قابل‌توجهی به JavaScript دارند. در مرورگر Googlebot که توسط کاربر تنظیم شده است، جاوا اسکریپت به طور متناوب فعال و غیرفعال می‌گردد تا رفتار گوگل‌بات هنگام پردازش صفحات وب شبیه‌سازی شود. این روش به شناسایی تفاوت‌های احتمالی در نحوه نمایش و عملکرد صفحات کمک می‌کند.

چرا باید JavaScript را غیرفعال کرد؟

گوگل‌بات تمام جاوا اسکریپت‌ها را در اولین مرحله خزیدن (Crawl) اجرا نمی‌کند. برای درک اینکه موتور جستجو قبل از اجرای جاوا اسکریپت چه چیزی را مشاهده می‌نماید، می‌توان جاوا اسکریپت را غیرفعال کرد. این کار به شما کمک می‌کند:

• HTML خام را ببینید و متوجه شوید که گوگل‌بات در اولین بازدید، چه محتوایی را دریافت می‌کند.
• مشکلات مهمی مانند از بین رفتن ناوبری سایت یا محتوایی که کاملاً به جاوا اسکریپت وابسته است را شناسایی کنید.

با استفاده از این افزونه، می‌توان متوجه شوید که وب‌سایت در اولین مرحله Crawl چگونه برای موتورهای جستجو دیده می‌شود.

تصویر(۳)

چرا باید موقعیت مکانی گوگل‌بات را شبیه‌سازی کرد؟

برخی وب‌سایت‌ها دسترسی آی‌پی‌های آمریکایی را مسدود می‌کنند که ممکن است مانع از بررسی و ایندکس شدن آنها توسط گوگل‌بات شود. شبیه‌سازی موقعیت مکانی ایالات متحده اطمینان می‌دهد که شما سایت را مشابه گوگل‌بات مشاهده می‌کنید.

همچنین بسیاری از وب‌سایت‌ها محتوای خود را بر اساس موقعیت جغرافیایی کاربر تغییر می‌دهند. به عنوان مثال، ممکن است یک کسب‌وکار نسخه‌های جداگانه‌ای برای آسیا و ایالات متحده داشته باشد و کاربران آمریکایی را به نسخه مختص ایالات متحده هدایت نماید. در این شرایط، گوگل‌بات ممکن است هرگز نسخه آسیایی را مشاهده نکند و آن صفحه ایندکس نشود.

مرحله ۳: پیکربندی تنظیمات مرورگر برای مشاهده سایت از دید گوگل بات

در این مرحله، تنظیمات مرورگر Googlebot به گونه‌ای تنظیم می‌شود که با قابلیت‌های محدود گوگل‌بات هنگام بررسی یک وب‌سایت مطابقت داشته باشد.

مواردی که گوگل‌بات پشتیبانی نمی‌کند:

• Service Workers: از آنجا که کاربران هنگام کلیک روی نتایج جستجو ممکن است برای اولین بار از صفحه بازدید کنند، گوگل‌بات داده‌ها را برای بازدیدهای بعدی ذخیره (Cache) نمی‌کند.
• درخواست‌های مجوز: گوگل‌بات درخواست‌هایی مانند پوش نوتیفیکیشن (Push Notifications)، دسترسی به وب‌کم، موقعیت جغرافیایی و سایر ویژگی‌های مشابه را پردازش نمی‌کند. بنابراین، هر محتوایی که به این مجوزها وابسته باشد، برای گوگل‌بات قابل مشاهده نخواهد بود.
• عدم حفظ وضعیت (Statelessness): گوگل‌بات داده‌هایی مانند کوکی‌ها، Session Storage، Local Storage یا IndexedDB را ذخیره نمی‌کند. این مکانیزم‌ها ممکن است به طور موقت اطلاعات را ذخیره کنند اما قبل از بررسی URL بعدی توسط گوگل‌بات، این داده‌ها پاک می‌شوند.

مرحله ۳a: تنظیمات DevTools

برای تنظیم دقیق مرورگر Googlebot، باید برخی از تنظیمات را در Developer Tools (DevTools) تغییر دهید.

نحوه باز کردن DevTools:

1. دکمه F12 را فشار دهید، یا
2. از طریق منوی همبرگری در گوشه بالا سمت راست Chrome یا Canary، به More tools > Developer tools بروید.

تصویر(۴)

به طور پیش‌فرض، پنجره DevTools در داخل مرورگر نمایش داده می‌شود اما می‌توانید محل نمایش آن را تغییر دهید. برای این کار، از منوی همبرگری دوم در DevTools استفاده کنید و گزینه Dock side را تغییر دهید یا DevTools را در یک پنجره جداگانه باز نمایید.

تصویر(۵)

 غیرفعال کردن کش (Disable Cache):

اگر از Chrome به عنوان مرورگر Googlebot استفاده می‌کنید، ممکن است این کار را قبلاً انجام داده باشید. در غیر این صورت، از طریق DevTools به More tools > Network conditions بروید و گزینه Disable cache را فعال کنید.

تصویر(۶)

مسدود کردن Service Workers:

1. به تب Application در DevTools بروید.
2. در قسمت Service Workers، گزینه Bypass for network را فعال کنید.

تصویر(۷)

مرحله ۳b: تنظیمات کلی مرورگر

برای تطبیق رفتار مرورگر با Googlebot، باید برخی از تنظیمات عمومی را تغییر دهید.

مسدود کردن همه کوکی‌ها:

1. به Settings > Privacy and security > Cookies بروید یا عبارت chrome://settings/cookies را در نوار آدرس وارد کنید.
2. گزینه “Block all cookies (not recommended)” را انتخاب نمایید.

تصویر(۸)

تنظیم مجوزهای سایت:

به Privacy and Security بروید و سپس Site settings را انتخاب کنید یا عبارت chrome://settings/content را در نوار آدرس وارد نمایید.

در بخش Permissions، موارد زیر را به طور جداگانه مسدود کنید:

• Location
• Camera
• Microphone
• Notifications

در بخش Additional Permissions، گزینه Background sync را غیرفعال نمایید.

مرحله ۴: شبیه‌سازی دستگاه موبایل

با توجه به اینکه گوگل‌بات بیشتر از روش mobile-first crawling استفاده می‌کند، شبیه‌سازی دستگاه موبایل در مرورگر Googlebot بسیار مهم است.

شبیه‌سازی یک دستگاه موبایل برای مشاهده سایت از دید گوگل بات:

1. DevTools را باز کنید و روی دکمه تغییر نوار ابزار دستگاه در گوشه بالا سمت چپ کلیک نمایید.
2. از منوی کشویی، یک دستگاه را جهت شبیه‌سازی انتخاب کرده یا برای تست دقیق‌تر، دستگاه دلخواه را اضافه کنید.

نکات مهم:

• گوگل‌بات وب‌سایت‌ها را اسکرول نمی‌کند. در عوض، از یک پنجره با ارتفاع عمودی بلند برای رندر استفاده می‌نماید.
• در حالی که شبیه‌سازی موبایل ضروری است، پیشنهاد می شود تست‌ها را در حالت دسکتاپ نیز انجام دهید.

مشاهده یک وب‌سایت به عنوان مرورگر Bingbot

برای ایجاد یک مرورگر Bingbot، از نسخه جدید Microsoft Edge استفاده نموده و آن را با user-agent مخصوص Bingbot پیکربندی کنید.

چرا Bingbot مهم است؟

رفتار Bingbot از نظر قابلیت‌های پشتیبانی‌شده و محدودیت‌ها، شباهت زیادی به Googlebot دارد. موتورهای جستجویی مانند Yahoo، DuckDuckGo و Ecosia بر پایه Bing هستند و این موضوع باعث می‌شود Bingbot تأثیر بیشتری نسبت به آنچه که بیشتر افراد فکر می‌کنند، داشته باشد.

جمع بندی

تنظیم مرورگر برای مشاهده سایت از دید گوگل بات یکی از سریع‌ترین و ساده‌ترین راه‌ها جهت مشاهده صفحات وب با دید این ربات‌ها می باشد. نکته جالب اینجا است که اگر یک دستگاه دسکتاپ با قابلیت نصب Chrome یا Canary داشته باشید، این روش کاملاً رایگان خواهد بود. در حالی که ابزارهایی مانند API Vision گوگل (برای پردازش تصاویر) و API زبان طبیعی می‌توانند جزئیات مفیدی ارائه دهند، استفاده از یک مرورگر برای شبیه‌سازی Googlebot بررسی فنی وب‌سایت را ساده‌تر می‌کند، خصوصا برای سایت‌هایی که به رندر سمت کاربر (Client-side rendering) متکی هستند.