Teman-teman, sebagai praktisi SEO kita tidak hanya melakukan update pada konten atau backlink saja. Namun, ada juga baberapa update seputaran technical seperti noindex tag, canonical tag, dan robots.txt.
Baru-baru ini, muncul pertanyaan warganet di Bluesky kepada John Mueller: “bagaimana jika robots.txt di-update berkali-kali dalam sehari? Jadi, blokir Googlebot di pagi hari, dan melepaskan blokirannya di sore hari. Apakah ini praktek yang bagus?”
Mungkin, teman-teman juga pernah terlintas pertanyaan seperti itu di kepala. Lantas, bagaimana jawaban dari John Mueller?
Daftar Isi
Praktik Ini Merupakan Ide Buruk
John Mueller menjawab bahwa update robots.txt berkali-kali dalam sehari adalah ide yang buruk karena Google melakukan cache hingga 24 jam.
Google tidak merekomendasikan untuk melakukan pembaruan yang berlebihan dalam sehari. Lebih baik gunakan 503/429 jika terjadi crawl berlebihan.
Dokumentasi soal caching konten robots.txt juga terdapat pada dokumentasi resmi Google:

John Mueller juga pernah memperingatkan tentang bahaya robots.txt yang dibuat terlalu “dinamis” pada tahun 2015 di Stackexchange.
Kapan Waktu Terbaik untuk Melakukan Update pada Robots.txt?
Dikarenakan mengubah robots.txt terlalu sering adalah hal yang buruk untuk SEO, maka pertanyaan selanjutnya adalah kapan waktu yang tepat untuk update robots.txt?
Jawabannya adalah ketika website sedang berada pada traffic yang rendah agar perubahan ini tidak mengganggu user experience.
Momen baik yang lain untuk melakukan update pada robots.txt adalah ketika Anda menyadari bahwa ada halaman penting yang tidak dirayapi oleh Googlebot dan penyebabnya adalah karena kesalahan pada setting robots.txt-nya.
Jangan lupa untuk menentukan mana laman yang sebaiknya perlu dirayapi Googlebot atau tidak. Tidak semua halaman wajib ada di Google, misalnya laman login dan thank you page.
Ayo Setting Robots.txt dengan Benar!
Robots.txt sebaiknya di-setting dengan benar dan tidak memerlukan banyak perubahan. Bahkan, terkadang permasalahan technical SEO hadir karena kesalahan pada elemen yang satu ini.
Yuk, mulai perhatikan robots.txt Anda! Jangan sampai halaman penting justru tidak bisa dirayapi oleh Googlebot.
Kalau teman-teman hendak diskusi mengenai robots.txt atau istilah SEO lainnya, Anda bisa bergabung ke grup Telegram DailySEO ID.
Kemudian, apabila Anda ingin belajar SEO dari nol, teman-teman bisa mengikuti SEO Fundamental Course DailySEO ID batch 8. Materinya akan dibawakan langsung oleh Muhammad Ilman Akbar, founder DailySEO ID.
References:
How Google interprets the robots.txt specification
Google: Don’t Make A Dynamically Generated robots.txt
Google: Don’t Dynamically Update Robots.txt File Multiple Times Per Day