Google mempublikasikan panduan terbaru terkait file robots.txt yang memungkinkan para webmaster dan praktisi SEO untuk mengontrol search engine crawler (perayap mesin pencari) dan bot lainnya (yang menggunakan file robots.txt).
Dokumentasi tersebut mencakup contoh pemblokiran halaman tertentu (seperti shopping cart), pembatasan bot tertentu, hingga pengelolaan crawling behavior (perilaku perayapan) dengan rule (aturan) yang sederhana.
Apa yang Baru dari Dokumentasi Robots.txt?
Dokumentasi baru ini menampilkan pengenalan singkat tentang apa itu robots.txt dan cakupan yang lebih luas tentang apa yang dapat dilakukan oleh para praktisi SEO dan webmaster terkait file robots.txt dan manfaatnya bagi website yang mereka kelola.
Inti dari bagian pertama dokumen ini adalah untuk memperkenalkan robots.txt sebagai protokol web yang stabil dan telah didukung secara luas oleh berbagai search engine dan bot crawler lainnya selama kurang lebih 30 tahun.
Google Search Console (GSC) akan menampilkan pesan kesalahan 404 jika robots.txt tidak ditemukan.
Apakah ini berbahaya?
Jawabannya adalah tidak.
Bukanlah sebuah masalah jika GSC menampilkan pesan tersebut.
Akan tetapi, jika Anda merasa terganggu, teman-teman dapat menunggu 30 hari dan pesan peringatannya pun akan hilang.
Jika teman-teman masih kurang nyaman dengan pesan yang ada, solusinya adalah membuat file robots.txt kosong yang dapat dipahami oleh Google.
Dokumentasi baru tersebut menyatakan:
Anda dapat membiarkan file robots.txt kosong (atau tidak memilikinya sama sekali) jika seluruh website Anda mungkin (bisa) dirayapi, atau Anda dapat menambahkan aturan (tertentu) untuk mengelola perayapan.
Dokumentasi robots.txt ini mencakup hal-hal dasar seperti aturan khusus untuk membatasi halaman atau bagian tertentu di dalam website.
Penggunaan advance (lanjutan) dari robots.txt mencakup hal-hal di bawah ini:
- Dapat menargetkan crawler tertentu dengan aturan yang berbeda-beda
- Memungkinkan pemblokiran URL pattern seperti PDF atau search page (halaman pencarian)
- Memungkinkan kontrol terperinci dari bot tertentu
- Mendukung penulisan komentar untuk dokumentasi internal
Dokumentasi panduan robots.txt terbaru ini diakhiri dengan menjelaskan tentang betapa mudahnya mengedit file robots.txt (berkas teks dengan aturan sederhana).
Jadi yang Anda perlukan hanyalah tool text editor (alat penyunting teks) sederhana (misalnya Notepad).
Ada banyak Content Management System (CMS) yang memungkinkan kita untuk mengeditnya dengan mudah.
Bahkan, juga tersedia alat untuk melakukan pengujian apakah file robots.txt sudah benar atau tidak.
Baca panduan terbaru lengkapnya di sini:
Robots Refresher: robots.txt — a flexible way to control how machines explore your website
Demikianlah tulisan mengenai dokumentasi panduan robots.txt Google terbaru ini.
Jika Anda memiliki pertanyaan silakan tuliskan di kolom komentar di bawah atau bisa gabung ke grup Telegram DailySEO ID di sini.
Teman-teman juga bisa ajukan topik selanjutnya untuk kami bahas! Jika ingin belajar SEO dari ahlinya, yuk belajar di course-nya DailySEO ID!
References:
