Dalam video YouTube yang diunggah 5 Desember lalu, Martin Splitt, developer advocate di Google menjelaskan perbedaan antara perintah tag “noindex” di tag meta robot dan “disallow” di file robots.txt.
Splitt memberitahu kita bahwa kedua metode dapat digunakan untuk membantu mengontrol cara kerja search engine crawler (perayap mesin pencari) dengan website.
Dikarenakan keduanya memiliki tujuan yang berbeda, maka kita tidak boleh menggunakan keduanya sebagai alternatif pengganti antara satu dan yang lainnya.
Daftar Isi
Kapan Anda Harus Menggunakan Noindex?
Perintah “noindex” memberitahu mesin pencari untuk tidak memasukkan halaman tertentu dalam hasil pencarian mereka.
Teman-teman dapat menambahkan instruksi ini di bagian kepala HTML menggunakan tag meta robots atau header HTTP X-Robots.
Gunakan “noindex” bila Anda ingin agar halaman tidak muncul di hasil pencarian, namun tetap mengizinkan mesin pencari membaca konten halaman.
Perintah ini berguna untuk halaman yang dapat dilihat pengguna tetapi teman-teman tidak ingin mesin pencari menampilkannya di Search Engine Results Page (SERP), contohnya seperti pada Thank you page atau halaman hasil pencarian internal.
Kapan Anda Harus Menggunakan Disallow?
Perintah “disallow” dalam file robots.txt website melarang atau menghentikan perayap mesin pencari mengakses URL tertentu di dalam website.
Ketika sebuah halaman di-disallow, maka mesin pencari tidak akan meng-crawl atau mengindeks kontennya.
Splitt menyarankan kita untuk menggunakan “disallow” ketika kita ingin memblokir mesin pencari secara total agar mereka tidak mengambil atau memproses halaman.
Perintah ini cocok digunakan untuk informasi sensitif, seperti data pribadi pengguna, url login admin, atau untuk halaman yang tidak relevan dengan mesin pencari.
Kesalahan Umum yang Perlu Dihindari
Salah satu kesalahan umum yang dilakukan oleh para webmaster adalah menggunakan perintah “noindex” dan “disallow” untuk satu halaman yang sama.
Splitt menyarankan agar kita tidak melakukan hal ini, karena penggunaan kedua perintah untuk halaman yang sama tersebut dapat menimbulkan masalah.
Jika suatu halaman di-disallow di file robots.txt, mesin pencari tidak dapat melihat perintah “noindex” di tag meta halaman atau header X-Robots.
Akibatnya, halaman tersebut mungkin masih terindeks, meskipun dengan informasi terbatas.
Untuk menghentikan suatu halaman agar tidak muncul di hasil pencarian, Splitt merekomendasikan penggunaan perintah “noindex” tanpa melakukan disallow pada halaman tersebut di file robots.txt.
Google sendiri menyediakan laporan robots.txt di Google Search Console untuk menguji dan memantau bagaimana file robots.txt memengaruhi pengindeksan website teman-teman di Google Search.
Kesimpulan
Memahami penggunaan perintah “noindex” dan “disallow” yang tepat sangat penting bagi para praktisi SEO.
Mengikuti saran Google dan menggunakan testing tool (alat pengujian) yang tersedia akan membantu memastikan konten Anda tampil di hasil pencarian sebagaimana mestinya.
Demikianlah tulisan mengenai saran Google tentang penggunaan noindex dan disallow pada file robots.txt ini, jika Anda memiliki pertanyaan silakan tuliskan di kolom komentar di bawah atau bisa gabung ke grup Telegram DailySEO ID di sini.
Teman-teman juga bisa ajukan topik selanjutnya untuk kami bahas! Jika ingin belajar SEO dari ahlinya, yuk belajar di course-nya DailySEO ID!
Sumber:
