Robots.txt sangat diperlukan untuk optimasi website, terlebih dalam mengatur search engine ketika mengakses dan mengindeks situs web kamu. 

Setiap kali search engine seperti Google mengunjungi situs, mereka menggunakan robot yang bernama Googlebot untuk menelusuri dan mengindeks halaman-halaman di situs tersebut. 

Nah, ada kalanya kita ingin menentukan mana halaman yang perlu diindeks dan mana yang tidak. Di sinilah peran robots.txt menjadi sangat penting. 

Lantas sebenarnya apa itu robots.txt? Bagaimana cara mengaturnya di dalam website kita?

Apa Itu Robots.txt?

Berdasarkan Google Search Central, robots.txt digunakan untuk mengatur akses mesin pencari ke halaman-halaman tertentu, terutama yang tidak ingin teman-teman tampilkan di hasil pencarian. 

Robots.txt akan memberikan instruksi kepada mesin pencari tentang halaman atau bagian dari situs web mana yang boleh atau tidak boleh di-crawl dan diindeks. 

Dalam konteks ini, robots.txt berperan sebagai “pengarah lalu lintas” yang membantu mengelola bagaimana bot mesin pencari menjelajahi website Anda. 

Fungsi Robots.txt

Robots.txt memiliki beberapa fungsi utama dalam pengelolaan situs web, antara lain:

1. Mencegah pengideksan halaman tertentu

Anda bisa menggunakan robots.txt untuk mencegah mesin pencari mengindeks halaman-halaman yang bersifat pribadi, seperti halaman admin atau halaman yang tidak relevan untuk muncul di hasil pencarian.

Baca Juga:   Seberapa Penting SSL Untuk SEO? Kenali Istilah, Jenis dan Kegunaannya

2. Menghemat bandwidth

Dengan mengarahkan bot mesin pencari untuk tidak menjelajahi halaman yang tidak penting, kamu bisa menghemat bandwidth server. 

Hal ini sangat berguna terutama jika situsmu punya banyak halaman dinamis atau halaman yang dihasilkan secara otomatis.

3. Mengelola akses ke file atau folder

Dengan robots.txt, Anda bisa memblokir akses ke file atau folder tertentu, seperti file gambar atau skrip yang tidak perlu diindeks oleh mesin pencari.

4. Menentukan lokasi link sitemap

Bagi yang belum tahu, robots.txt juga bisa berfungsi untuk menunjukkan lokasi link sitemap di website.

Dengan demikian, hal ini bakal sangat membantu search engine untuk membaca dan mengerti keseluruhan website kita seperti apa.

Pentingnya Robots.txt bagi SEO

Robots.txt memainkan peran yang signifikan dalam strategi optimasi SEO.

Berikut beberapa alasan mengapa penggunaan robots.txt sangat penting bagi website:

1. Meningkatkan efisiens crawling

Dengan membatasi akses bot ke halaman yang tidak diperlukan, berarti Anda membuat search engine lebih fokus pada halaman penting yang memiliki nilai lebih bagi pengunjung. 

Hal ini bisa meningkatkan efisiensi proses crawling dan indexing, sehingga dapat meningkatkan peringkat situs web teman-teman di search engine.

2. Melindungi konten sensitif

Robots.txt memungkinkan kamu mencegah mesin pencari mengakses dan menampilkan halaman-halaman yang berisi informasi sensitif atau rahasia di hasil pencarian. 

3. Mencegah konten duplikat

Robots.txt dapat digunakan untuk mencegah mesin pencari mengakses halaman-halaman dengan konten serupa atau duplikat yang bisa berdampak negatif pada peringkat SEO.

4. Meningkatkan user experience

Dikarenakan hanya konten yang relevan dan berkualitas yang terindeks, Anda akan memberikan hasil pencarian yang lebih baik dan meningkatkan user experience di situs web teman-teman.

Baca Juga:   Mengenal Error 404 dan Soft 404, Apa Sih Perbedaan & Dampaknya?

Contoh Penggunaan Robots.txt

Ini adalah contoh penggunaan robots.txt yang umum dan efektif:

User-agent: * 
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /private/

Pada contoh di atas, robots.txt digunakan untuk mencegah semua bot mesin pencari (User-agent: *) mengakses direktori admin, wp-admin, dan private

Dengan begitu, halaman-halaman tersebut tidak diindeks oleh mesin pencari, sehingga tetap aman dan tidak muncul di hasil pencarian.

Berikut contoh lain penggunaan robots.txt yang lebih spesifik untuk bot tertentu:

User-agent: Googlebot 

Disallow: /private/ 

Di sini, hanya Googlebot yang dilarang mengakses direktori /private/, sementara bot lain masih dapat mengaksesnya. 

Beberapa contoh file robots.txt di website

Sebagian besar dari teman-teman mungkin sudah mengeksplorasi file robots.txt yang dimiliki oleh website-website di Indonesia.

Buat Anda yang belum tahu bagaimana cara melihat file robots.txt dari website lain, teman-teman tinggal menambahkan /robots.txt di belakang domain website.

Sebagai contoh, DailySEO ID mempunyai file robots.txt dengan URL www.dailyseo.id/robots.txt

Dok. Screenshot

Tidak hanya itu, teman-teman juga bisa melihat file robots.txt dari website e-commerce terkemuka, yaitu Tokopedia dengan mengetikkan www.tokopedia.com/robots.txt

Dok. Screenshot

Cek Validasi Robots.txt Website Anda, Sudah Benar atau Belum?

Untuk mengetahui apakah file robots.txt website Anda sudah benar atau belum, teman-teman bisa mengunjungi situs https://technicalseo.com/tools/robots-txt/

Berikut langkah-langkahnya:

  • Buka situs https://technicalseo.com/tools/robots-txt/
  • Masukkan website Anda. Contoh “https://www.websiteanda.com/robots.txt
  • Cari tahu ada kesalahan sintak atau penulisan robots.txt

Kesimpulan

Robots.txt adalah alat yang sederhana namun sangat penting dalam pengelolaan SEO situs web. 

Ketika teman-teman memahami dan menggunakan robots.txt dengan benar, Anda dapat mengoptimalkan cara search engine dalam mengakses dan mengindeks konten di situs web teman-teman, serta melindungi konten yang tidak ingin diindeks. 

Demikian penjelasan mengenai robots.txt. Apabila teman-teman mempunyai pertanyaan mengenai pembahasan ini, Anda bisa langsung gabung ke grup Telegram DailySEO ID.

Baca Juga:   SEO Internasional: Bantu Website Bisnis Anda Jangkau Market Global

Di sana, ada banyak sekali praktisi SEO yang siap diajak diskusi perihal SEO.

Tidak hanya itu, DailySEO ID juga mempunyai program kursus online bagi siapa saja yang ingin belajar SEO dari fundamental hingga advance.

Pembicara langsung dibawakan oleh founder DailySEO ID, Ilman Akbar.

Buat teman-teman yang ingin mendaftar atau membeli class recording-nya bisa langsung klik di sini.

Referensi:

https://developers.google.com/search/docs/crawling-indexing/robots/intro

https://moz.com/learn/seo/robotstxt

Dapatkan berita terbaru seputar SEO Gratis!
Subscribe Sekarang!

Author

SEO Content Specialist, Median Digital Indonesia | Former SEO Content at Zenius, Hipwee, and Glints | SEO Enthusiast

Write A Comment