Robots.txt bermanfaat untuk mencegah bot untuk merayapi situs kita, terutama di halaman yang tidak boleh muncul di search engine seperti halaman admin, thank you page, dsb.
Namun, bagaimana kalau ada bot yang melanggar rambu yang ditulis di robots.txt?
Microsoft Clarity baru saja membuat fitur untuk mendeteksi seberapa besar bot yang melanggar ketentuan yang kita pasang di robots.txt, berikut penjelasannya:
Daftar Isi
Mengapa Pelanggaran Robots.txt Berisiko untuk SEO?
1. Beban Server Meningkat
Karena bot mengakses area yang tidak boleh dirayapi, maka beban server meningkat. Hal ini akan cukup terasa pada website berukuran besar seperti e-commerce.
2. Kebocoran Data Internal
Ada alasan mengapa suatu halaman tidak boleh di-crawl seperti keamanan dan sensitivitas.
Jika ada bot yang melanggar aturan robots.txt, maka ada potensi terjadi kebocoran data internal.
3. Konten Digunakan tanpa Consent
Konten yang tidak di-crawl oleh bot adalah bukti bahwa kita tidak memberikan izin akses.
Jika ada pelanggaran terhadap robots.txt, itu berarti ada indikasi pencurian dan konten kita digunakan tanpa persetujuan.
Dampak secara SEO kebanyakan tidak langsung dan berefek ke domain technical SEO.
Contoh Report Microsoft Clarity tentang Pelanggaran yang Dilakukan oleh Bot
Contohnya, pada website di atas, terdapat 1150 request dari bot dan tidak terjadi pelanggaran oleh bot.
Itu berarti, bot-nya menghormati aturan dalam robots.txt.
Jika ada yang dilanggar, segmen violations memiliki angka di atas 0%.
Bagi praktisi SEO, data tersebut bisa menjadi bahan analisis seberapa dipatuhi robots.txt yang dipasang di website.
Analisis dan Diskusikan dengan Tim IT/Website jika Terjadi Banyak Pelanggaran terhadap Robots.txt
Jika terjadi banyak pelanggaran terhadap robots.txt, tidak ada salahnya untuk berdiskusi dengan tim IT.
Jangan lupa untuk memberikan data bot yang melanggar aturan, sehingga langkah selanjutnya bisa dilakukan, umumnya terhadap keamanan website.
Apakah Anda pernah menemukan kasus pelanggaran terhadap robots.txt?
Jika teman-teman memiliki pertanyaan terkait, silakan tuliskan pada kolom komentar di bawah atau bisa gabung ke grup Telegram DailySEO ID di sini.
Teman-teman juga bisa ajukan topik selanjutnya untuk kami bahas! Jika ingin belajar SEO dari ahlinya, yuk belajar di course-nya DailySEO ID!
Referensi:
https://clarity.microsoft.com/blog/robots-txt-violations-in-bot-analytics/
