Teman-teman, sebagai praktisi SEO kita tidak hanya melakukan update pada konten atau backlink saja. Namun, ada juga baberapa update seputaran technical seperti noindex tag, canonical tag, dan robots.txt.

Baru-baru ini, muncul pertanyaan warganet di Bluesky kepada John Mueller: “bagaimana jika robots.txt di-update berkali-kali dalam sehari? Jadi, blokir Googlebot di pagi hari, dan melepaskan blokirannya di sore hari. Apakah ini praktek yang bagus?”

Mungkin, teman-teman juga pernah terlintas pertanyaan seperti itu di kepala. Lantas, bagaimana jawaban dari John Mueller?

Praktik Ini Merupakan Ide Buruk

John Mueller menjawab bahwa update robots.txt berkali-kali dalam sehari adalah ide yang buruk karena Google melakukan cache hingga 24 jam.

Google tidak merekomendasikan untuk melakukan pembaruan yang berlebihan dalam sehari. Lebih baik gunakan 503/429 jika terjadi crawl berlebihan.

Dokumentasi soal caching konten robots.txt juga terdapat pada dokumentasi resmi Google:

Dok. Google Search Central

John Mueller juga pernah memperingatkan tentang bahaya robots.txt yang dibuat terlalu “dinamis” pada tahun 2015 di Stackexchange.

Kapan Waktu Terbaik untuk Melakukan Update pada Robots.txt?

Dikarenakan mengubah robots.txt terlalu sering adalah hal yang buruk untuk SEO, maka pertanyaan selanjutnya adalah kapan waktu yang tepat untuk update robots.txt?

Jawabannya adalah ketika website sedang berada pada traffic yang rendah agar perubahan ini tidak mengganggu user experience.

Momen baik yang lain untuk melakukan update pada robots.txt adalah ketika Anda menyadari bahwa ada halaman penting yang tidak dirayapi oleh Googlebot dan penyebabnya adalah karena kesalahan pada setting robots.txt-nya.

Jangan lupa untuk menentukan mana laman yang sebaiknya perlu dirayapi Googlebot atau tidak. Tidak semua halaman wajib ada di Google, misalnya laman login dan thank you page.

Ayo Setting Robots.txt dengan Benar!

Robots.txt sebaiknya di-setting dengan benar dan tidak memerlukan banyak perubahan. Bahkan, terkadang permasalahan technical SEO hadir karena kesalahan pada elemen yang satu ini. 

Baca Juga:   Google Spam Update 2024 Telah Selesai! Apa yang Perlu Kita Lakukan?

Yuk, mulai perhatikan robots.txt Anda! Jangan sampai halaman penting justru tidak bisa dirayapi oleh Googlebot.

Kalau teman-teman hendak diskusi mengenai robots.txt atau istilah SEO lainnya, Anda bisa bergabung ke grup Telegram DailySEO ID.

Kemudian, apabila Anda ingin belajar SEO dari nol, teman-teman bisa mengikuti SEO Fundamental Course DailySEO ID batch 8. Materinya akan dibawakan langsung oleh Muhammad Ilman Akbar, founder DailySEO ID.

References:

How Google interprets the robots.txt specification

Google: Don’t Make A Dynamically Generated robots.txt

Google: Don’t Dynamically Update Robots.txt File Multiple Times Per Day

Dapatkan berita terbaru seputar SEO Gratis!
Subscribe Sekarang!

Author

SEO Specialist at sirka.io and currently developing farisyudza.com. I started diving into SEO in early 2022 and eager to learn more!

Write A Comment