Situs media umumnya melakukan blokir AI crawler pada file robots.txt mereka.
Namun, kali ini terdapat kejadian menarik.
CNCB Indonesia memblokir Googlebot, bahkan melakukan noindex pada homepage mereka.
Kasus ini pertama kali diidentifikasi oleh Rijal Fahmi Mohamadi, salah satu praktisi SEO senior di Indonesia.
Dari pengecekan SERP dengan site:https://cnbcindonesia.com, beliau menemukan hanya tersisa 3 halaman saja.
Daftar Isi
Apa Alasan Pemblokiran Ini?
Sampai saat ini, belum jelas maksud dari pemblokiran Googlebot ini.
Dari isi komentar pada post Rijal Fahmi, terdapat berbagai pendapat menarik. Beberapa hipotesis penyebabnya antara lain:
- Human error
- Sabotase
- Perubahan pada bisnis
- Migrasi situs
- Disengaja karena keputusan bisnis
Dari pengecekan pada Ahrefs, CNBC Indonesia juga mengalami penurunan organic traffic.
Implikasi Studi Kasus
Hal yang membuat studi kasus ini semakin menarik adalah sangat jarang seorang praktisi SEO memblokir Googlebot atau menerapkan noindex tag pada halaman penting, terutama homepage karena menurut prinsip crawl depth, seharusnya halaman yang jadi prioritas untuk dirayapi dan diindeks sebaiknya diletakkan di homepage.
Kami memang belum tahu apakah pemblokiran ini murni disengaja atau tidak.
Namun yang jelas, bagi website komersial atau memakai website untuk menjual jasa atau produk, ini merupakan kesalahan fatal, karena akibat setting-an ini Google sama sekali tidak bisa menampilkan situs Anda di SERP (Search Engine Result Pages).
Sebelum melakukan pemblokiran lewat robots.txt atau noindex, diskusikan dulu dan cek dampak positif dan negatif yang mungkin terjadi.
Hati-Hati dalam Setting Robots.txt dan Noindex
Memang benar bahwa tidak semua halaman harus ditampilkan di SERP.
Namun, jika setting-an robots.txt dan noindex tag memblokir halaman penting, maka akan berdampak pada traffic, bahkan konversi pada website.
Jadi, pastikan bahwa langkah pemblokiran sudah dipertimbangkan dan didiskusikan dengan baik.
Ada pertanyaan terkait temuan ini? Silakan tuliskan di kolom komentar di bawah atau bisa gabung ke grup Telegram DailySEO ID di sini.
Teman-teman juga bisa ajukan topik selanjutnya untuk kami bahas! Jika ingin belajar SEO dari ahlinya, yuk belajar di course-nya DailySEO ID!
Referensi:
1 Comment
Kerugian besar jika memang keputusan CNBC memblokir crawler Google adalah karena kesalahan tim teknisnya. Google itu ekosistem SEO yang terlalu penting untuk diabaikan. Tapi, kalau ini murni keputusan bisnis, apakah CNBC pusat lagi ada masalah dengan Google? Entahlah.