Google telah resmi menghapus tool robots.txt tester (alat penguji robots.txt) dari salah satu fitur yang disediakan.
Hal ini diperkuat dengan hadirnya robots.txt report (laporan robots.txt) sebagai salah satu fitur terbaru di dalam Google Search Console (GSC).
Tidak hanya itu, Google juga menyediakan sejumlah informasi relevan terkait robots.txt yang dapat kita lihat di tab Page indexing report di dashboard Google Search Console.
Apa Kelebihan Laporan Robots.txt Ini?
Tidak lagi menjadi “alat tes” file robots.txt belaka, fitur laporan terbaru dari Google Search Console ini menghadirkan status dari hasil proses crawling yang dilakukan Google terhadap file robots.txt.
Seperti: Not Fetched – Not found (404); Not Fetched – Any other reason; dan Fetched, yang mana setiap status tersebut memiliki maksud dari hasil crawling yang dilakukan oleh Google.
Selain itu, ada beberapa manfaat lain yang bisa teman-teman dapatkan dari fitur laporan robots.txt yang baru dirilis oleh Google rilis:
- Mengetahui file robots.txt mana yang Google temukan dari 20 host teratas di website Anda.
- Mengetahui kapan terakhir kali Google melakukan crawling (perayapan) terhadap file-file tersebut.
- Adanya notifikasi terkait warning (peringatan) maupun error yang Google temukan.
Google juga menambahkan fitur request a recrawl (permintaan perayapan ulang) dari sebuah file robots.txt pada kondisi tertentu yang sifatnya darurat.
Seperti Apa Tampilan Laporan Robots.txt di Google Search Console?
Teman-teman dapat mengakses laporan ini dengan cara login ke Google Search Console, lalu pilih Settings. Nah, laporan robots.txt ini berada di bagian Crawling.
Silakan klik Open Report untuk melihat informasi apa saja yang Google temukan terkait file robots.txt di website Anda.
Berikut adalah hasil tangkapan layar dari laporan robots.txt Google Search Console terbaru:
Dengan adanya laporan robots.txt ini, teman-teman DailySEO ID akan mendapatkan sejumlah insight (wawasan) yang berguna terkait file tersebut, khususnya jika website Anda mengalami kendala indexing dan crawling.
Jadi, pastikan untuk membuka fitur laporan robots.txt ini dan lakukanlah pengecekan untuk memastikan bahwa file robots.txt Anda sudah benar tanpa masalah berarti.
Demikianlah artikel mengenai adanya fitur laporan robots.txt di Google Search Console ini, jika Anda memiliki pertanyaan silakan tuliskan di kolom komentar di bawah atau bisa gabung ke grup Telegram DailySEO ID di sini.
Teman-teman juga bisa ajukan topik selanjutnya untuk kami bahas! Jika ingin belajar SEO dari ahlinya, yuk belajar di course-nya DailySEO ID!!
Sumber:
https://searchengineland.com/google-search-console-adds-robots-txt-report-434708
