Apakah teman-teman merasa kesulitan untuk memastikan Googlebot meng-crawl dan meng-index website Anda dengan tepat?
Apalagi jika website yang teman-teman kelola dibuat dengan JavaScript yang banyak atau besar.
Dalam tulisan kali ini, DailySEO ID akan memandu Anda untuk melihat apa yang Googlebot lihat melalui browser.
Seperti apa caranya? Silakan baca tutorialnya dalam artikel ini hingga selesai!
Daftar Isi
Mengapa Kita Harus Melihat Website Dari Sisi Googlebot?
Dahulu, technical SEO audit (audit SEO teknis) lebih mudah dilakukan pada website yang sebagian besar masih menggunakan HTML dan CSS, sedangkan JavaScript hanya digunakan untuk sebagian kecil fitur.
Namun saat ini, sudah banyak website yang secara keseluruhan dibuat menggunakan JavaScript, yang me-redirect (mengalihkan) pemrosesan dari server ke browser.
Terdengar biasa saja, namun hal ini berpotensi mempersulit search engine bot seperti Googlebot untuk melakukan rendering halaman web dengan cepat.
Googlebot sering kali mengalami kesulitan saat merender JavaScript dan mungkin memerlukan waktu yang lebih banyak dalam merender konten.
Bahkan terdapat sejumlah website yang menggunakan dynamic rendering (rendering dinamis) yang menyajikan versi berbeda untuk search engine bot dan user (pengguna).
Nah, dengan kita melakukan simulasi tentang bagaimana Googlebot melihat website Anda, maka teman-teman akan dapat menemukan atau gambaran dari perbedaan antara apa yang dilihat search engine bot dan user.
Ya, walaupun apa yang ditampilan ini tidak 100% sama, teman-teman perlu memastikan sejumlah elemen penting seperti navigasi dan konten untuk konsisten dan berusaha menemukan masalah indexing dan ranking yang disebabkan oleh masalah rendering yang ada.
Bisakah Kita Melihat Apa yang Googlebot Lihat?
Jawabannya adalah bisa, tapi tidak secara keseluruhan.
Googlebot menggunakan headless Chrome browser untuk merender halaman web, namun tidak dapat ditiru secara sempurna. Misalnya, penanganannya terhadap JavaScript yang dapat bervariasi secara tidak terduga.
Terdapat bug yang cukup signifikan ditemukan di bulan September 2024 mempersulit Google untuk melihat meta tag noindex di website berbasis React.
Hal ini menunjukkan tantangan dalam meniru apa yang Googlebot lihat, terutama untuk SEO.
Tujuan dari melihat apa yang Googlebot lihat adalah untuk menyimulasikan mobile-first indexing Googlebot dengan menggunakan alat seperti Googlebot browser, Screaming Frog SEO Spider, dan URL Inspection di Search Console, meskipun semua tool ini mungkin tidak sepenuhnya merefleksikan apa yang Googlebot lihat.
Mengapa Menggunakan Browser Terpisah untuk Melihat Website Sebagai Googlebot?
Menggunakan browser Googlebot khusus membuat technical SEO audit dapat dilakukan dengan lebih mudah dan akurat karena beberapa alasan, di antaranya:
Efisien dan efektif
Menggunakan browser terpisah mampu menghemat waktu dan tenaga yang memungkinkan kita untuk meniru Googlebot dengan cepat tanpa menggunakan banyak tool.
Sebab, jika Anda hanya menggunakan extension (ekstensi) browser standar, mungkin hal ini akan terasa lambat, terutama jika kontennya dinamis, dan mungkin tidak berfungsi dengan baik di tab dan session halaman web tertentu.
Meningkatkan akurasi
Penggunaan browser khusus secara terpisah mampu mengurangi penggunaan extension, dan dapat meningkatkan proses yang lebih akurat saat meniru Googlebot.
Meminimalkan kesalahan
Penggunaan browser standar berpotensi membuat kita lupa untuk mematikan Googlebot spoofing. Jika ini terjadi, maka akses website akan terblokir dan kita tidak dapat melanjutkan proses auditnya.
Lebih fleksibel
Meskipun ada tantangan keamanan yang lebih kompleks di website e-commerce, penggunaan browser khusus masih menjadi pilihan terbaik untuk mendapatkan hasil yang akurat.
Jika perlu, teman-teman bisa menggunakan user-agent alternatif atau melakukan pengecekan rendered HTML di Google Search Console untuk mendapatkan insight (wawasan) yang berguna lainnya.
SEO Audit Manakah yang Berguna untuk Googlebot Browser?
Googlebot Browser sering digunakan untuk memeriksa website yang menggunakan client-side atau dynamic rendering.
Ia digunakan untuk menunjukkan perbedaan antara apa yang dilihat Googlebot dengan apa yang dilihat user. Jika benar berbeda, hal ini tentu saja dapat memengaruhi search result (hasil penelusuran).
Ketika menggunakan Chrome cobalah untuk membatasi browser extension untuk menguji user experience (UX), ini dilakukan untuk hasil yang lebih jelas.
Spoofing Googlebot juga dapat memberikan insight tambahan terkait masalah rendering yang terjadi di dalam website.
Apa yang harus dicek ketika melakukan Googlebot audit?
Berikut adalah sejumlah poin yang harus teman-teman cek saat melakukan audit Googlebot:
- Tampilan navigasi: Apakah navigasi tampil secara konsisten dari apa yang dilihat oleh user dan bot?
- Visibilitas konten: Apakah Googlebot dapat melihat konten yang ingin Anda indeks?
- Penundaan JavaScript indexing: Jika situs bergantung pada hasil rendering JavaScript, coba cek apakah konten baru tersebut akan di-index dengan cepat sehingga dianggap penting?
- Masalah respons server: Apakah URL memberikan respons server yang tepat? Misalnya, kesalahan URL mungkin menampilkan 200 OK untuk Googlebot tetapi menampilkan 404 Not Found untuk user.
- Variasi layout (tata letak) halaman: Jika di dalam website terdapat link (tautan) yang tampil dengan teks warna biru di latar belakang hitam saat melakukan spoofing pada Googlebot. Mungkin search engine dapat memahaminya, namun ini tidak user-friendly. Usahakan untuk menampilkannya secara konsisten baik untuk user maupun bot.
- Redirect (pengalihan) berbasis geolokasi: Banyak website yang menerapkan redirection berdasarkan lokasi. Karena perayapan Googlebot dilakukan dari IP AS, penting untuk memverifikasi bagaimana website Anda menangani permintaan tersebut.
Google Chrome menyediakan berbagai tool bawaan untuk membantu kita dalam melakukan technical SEO audit.
Membandingkan data di tab Console dan Network akan membantu kita dalam menemukan masalah antara tampilan yang diterima oleh user dan Googlebot.
Cara Membuat Browser Googlebot Anda Sendiri
Menyiapkan browser Googlebot memerlukan waktu sekitar 30 menit dan pastinya akan mempermudah teman-teman untuk mensimulasikan bagaimana halaman website dilihat dari sisi Googlebot.
Berikut caranya:
Langkah ke-1: Download and install Chrome atau Canary
- Jika Chrome bukan browser default teman-teman, Anda dapat menggunakannya sebagai browser Googlebot Anda.
- Jika Chrome adalah browser default Anda, unduh dan instal Chrome Canary.
Canary adalah versi pengujian Chrome untuk fitur-fitur baru, yang diidentifikasi dengan ikon berwarna kuning.
Canary dilabeli sebagai “unstable (tidak stabil)”, tetapi Anda seharusnya tidak mengalami masalah saat menggunakannya sebagai Googlebot.
Ia memiliki fitur beta yang berguna untuk melakukan audit.
Langkah ke-2: Install browser extensions
Install browser extension di bawah ini:
- User-Agent Switcher: Berfungsi mengalihkan browser user-agent untuk meniru perilaku Googlebot.
- Web Developer: Memungkinkan Anda mengaktifkan atau menonaktifkan JavaScript dengan mudah, memberikan wawasan tentang bagaimana Googlebot dapat memproses website.
- Windscribe (atau VPN pilihan Anda sendiri): Mensimulasikan lokasi Googlebot, biasanya di AS, memastikan perbedaan berdasarkan lokasi.
- Link Redirect Trace: Mengecek respons server dengan cepat, dan header HTTP untuk technical SEO audit.
- View Rendered Source: Membandingkan raw (mentah) HTML (apa yang dikirimkan oleh server) dengan HTML yang dirender (apa yang diproses oleh browser).
Bookmarklet:
- NoJS Side-by-Side: Membandingkan tampilan halaman web dengan dan tanpa mengaktifkan JavaScript, membuat perbedaan jadi lebih mudah kita lihat.
Cara Setting User-Agent Switcher
1. Mendapatkan Googlebot user-agent string:
- Buka Chrome DevTool dengan menekan F12 atau klik More Tools> Developer Tools.
- Buka Network tab.
- Pilih More tools > Network conditions.
- Di tab Network:
- Uncheck “Use browser default.”
- Pilih “Googlebot Smartphone” dari daftar yang tampil.
- Salin dan tempel user-agent dari bidang di bawah daftar ke dalam daftar ekstensi User-Agent Switcher (cek tangkapan layar di bawah). Pastikan untuk mengalihkan Chrome ke user-agent defaultnya jika itu adalah browser utama Anda.
- Tips tambahan untuk pengguna Chrome:
- Jika Chrome sudah menjadi browser Googlebot Anda, centang “Disable cache” di DevTools untuk hasil yang lebih akurat selama melakukan pengujian.
2. Menambahkan user-agent ke extension:
- Klik kanan User-Agent Switcher di toolbar browser dan klik Options (lihat tangkapan gambar di bawah).
- “Indicator Flag” adalah teks di browser toolbar yang menunjukkan user-agent mana yang Anda pilih.
- Tempel Googlebot user-agent string ke daftar dan berikan label (contoh: “GS” untuk Googlebot Smartphone).
- Opsional, tambahkan user-agent seperti Googlebot Desktop, Bingbots, atau DuckDuckBot untuk pengujian yang lebih luas.
Langkah ke-3: Konfigurasikan setelan browser untuk mensimulasikan Googlebot
Pada langkah ini, kita akan mengatur setelan browser Googlebot agar sesuai dengan setelan yang tidak didukung Googlebot saat merayapi sebuah website.
Apa yang tidak di-support Googlebot?
Hal yang tidak di-support Googlebot:
- Service workers: Googlebot tidak menyimpan data dalam cache untuk kunjungan user yang berikutnya
- Permission requests: Googlebot tidak memproses push notification, akses webcam, permintaan geolokasi, dan fitur lainnya yang serupa
- Statefulness: Googlebot tidak memiliki stateless (kewarganegaraan), itu artinya Googlebot tidak menyimpan data seperti cookie, session storage, local storage, atau IndexedDB
Langkah ke-3a: DevTools settings
Teman-teman harus menyesuaikan beberapa pengaturan di DevTools untuk mengonfigurasi browser Googlebot Anda untuk simulasi yang lebih akurat.
Caranya:
- Tekan F12, kemudian klik More Tools > Developer Tools.
- DevTools terpasang di dalam browser secara default, namun Anda dapat mengubahnya. Gunakan menu hamburger kedua di DevTools untuk mengganti sisi Dock atau membukanya di jendela terpisah.
Konfigurasi utama di DevTools:
- Disable cache:
- Anda mungkin sudah menerapkannya jika menggunakan Chrome sebagai browser Googlebot Anda
- Jika belum, silakan klik More tools > Network conditions, dan cek “Disable cache” option
- Block service workers:
- Buka Application tab di DevTools.
- Di bawah Service Workers, cek opsi “Bypass for network”.
Langkah ke-3b: General browser settings
Sesuaikan setelan browser untuk merefleksikan perilaku Googlebot.
- Block all cookies:
- Pilih Settings > Privacy and security > Cookies.
- Pilih “Block all cookies (not recommended)”.
- Sesuaikan site permissions:
- Di Privacy and Security, silakan pilih to Site settings.
- Di bawah Permissions, blokir Location, Camera, Microphone, dan Notifications.
- Di sesi Additional Permissions, disable Background sync.
Langkah ke-4: Simulasikan mobile device
Dikarenakan Googlebot menggunakan mobile-first crawling, penting untuk melakukan simulasi mobile device di browser Googlebot Anda.
Cara mensimulasikan mobile device:
- Buka DevTools dan klik tombol device toolbar di pojok kiri atas.
- Pilih device untuk ditiru dari menu dropdown atau tambahkan custom device untuk pengujian yang lebih spesifik.
Jangan lupa perhatikan hal berikut:
- Googlebot tidak scroll (menggulir) halaman web. Sebaliknya, ia merender menggunakan window (jendela) dengan posisi vertikal yang panjang.
- Meskipun simulasi mobile device penting, kita juga direkomendasikan untuk melakukan pengujian dalam tampilan desktop dan, jika memungkinkan, lakukan pengujian pada mobile device yang sesungguhnya untuk memastikan hasilnya.
Bagaimana dengan melihat website sebagai Bingbot?
Untuk membuat browser Bingbot, gunakan versi terbaru Microsoft Edge dan konfigurasikan dengan user-agent Bingbot.
Mengapa Bingbot?
- Cara kerja Bingbot mirip dengan Googlebot.
- Search engines seperti Yahoo, DuckDuckGo, dan Ecosia berjalan karena ditenagai atau didasari oleh Bing.
Meskipun tidak sesederhana apa yang dikatakan oleh para praktisi SEO yang sudah mahir dalam melakukan simulasi Googlebot ini, tapi setidaknya teman-teman sudah mendapatkan gambar tentang bagaimana caranya.
Anda juga bisa menyaksikan ilmu yang bermanfaat lainnya terkait JavaScript website dari Jamie Indigo di video ini.
Demikianlah tulisan mengenai bagaimana cara menggunakan Google Chrome untuk melihat website sebagai Googlebot ini, jika Anda memiliki pertanyaan silakan tuliskan di kolom komentar di bawah atau bisa gabung ke grup Telegram DailySEO ID di sini.
Teman-teman juga bisa ajukan topik selanjutnya untuk kami bahas! Jika ingin belajar SEO dari ahlinya, yuk belajar di course-nya DailySEO ID!
References:
