Baru-baru ini, Google Search Central YouTube channel memublikasikan podcast yang membahas tentang crawl budget dan hal apa saja yang memengaruhi Google dalam meng-index sebuah konten.

Podcast bertajuk Apakah Saya Harus Mengkhawatirkan Crawl Budget? dibawakan oleh Googler/karyawan Google dari tim Search Relations, yaitu Gary Illyes, Martin Splitt, dan Lizzi Sassman, ketiganya memberikan wawasan terkait crawling & indexing web khususnya dari perspektif Google.

Apakah crawl budget sesuatu yang perlu dikhawatirkan? Konten seperti apa yang akan di-index Google? Apa lagi ilmu yang mereka berikan?

Mari kita tambah wawasan SEO kita dengan membaca artikel ini hingga selesai.

Konsep “Crawl Budget” Bukan Berasal dari Google

Menurut Gary Illyes, sebetulnya penamaan crawl budget ini tidak datang dari internal Google, melainkan dari search community, yaitu kita para praktisi SEO.

Ketika orang-orang berbicara tentang crawl budget, apa yang sebenarnya terjadi di sisi Google melibatkan berbagai macam metrics, dan tidak ada satupun di dalamnya yang dinamakan “crawl budget“.

Google akhirnya mendiskusikan hal apa yang dapat mewakili “crawl budget” dan menemukan cara untuk dapat menjelaskannya.

Gary Illyes menyampaikan:

…untuk waktu yang cukup lama kami menyatakan bahwa kami tidak memiliki konsep crawl budget. Itulah faktanya.

Sebagai contoh, kami tidak memiliki sesuatu yang dapat mendeskripsikan crawl budget, sama seperti kami tidak memiliki angka atau skor (metrics yang spesifik) untuk E-A-T, misalnya.

Namun, karena banyak orang yang membicarakannya, maka kami mencoba menjawab dengan sesuatu… setidaknya ada definisinya.

Dan kami bekerja dengan dua atau tiga atau empat tim – saya lupa persisnya, di mana kami mencoba untuk menemukan setidaknya beberapa internal metrics yang dapat digabungkan bersama menjadi sesuatu yang orang-orang definisikan sebagai crawl budget.

Apa itu Crawl Budget dari Perspektif Google?

Menurut Gary Illyes, bagian dari perhitungan crawl budget didasari pada aspek praktis, seperti berapa banyak URL yang diizinkan untuk di-crawl oleh Googlebot tanpa harus overloading (membebani) server.

Gary Illyes dan Martin Splitt:

Gary Illyes: …kami mendefinisikannya (crawl budget) sebagai jumlah URL yang dapat dan akan diinstruksikan untuk di-crawl oleh Googlebot.

Martin Splitt: Untuk suatu website.

Gary Illyes: Ya, untuk suatu website.

Bagi kami, kira-kira itulah yang maksud dari crawl budget. Karena jika Anda memikirkannya, kami tidak ingin merugikan website karena Googlebot sebenarnya punya cukup kapasitas untuk membuat sebuah website down

Sumber Daya Google Terbatas, Harus Digunakan untuk Meng-Crawl Konten yang Bermanfaat untuk Users

Hal menarik lainnya terkait crawling adalah ada berbagai aspek yang harus dipertimbangkan.

Ada batas sumber daya untuk menyimpan sesuatu (misalnya kapasitas storage, seperti handphone kita bisa penuh kalau terlalu banyak foto/video). Jadi menurut Google, mereka harus memanfaatkan sumber dayanya “where it matters (di tempat seharusnya)”.

Martin Splitt: Tampaknya, cukup jelas, setiap orang menginginkan segalanya untuk bisa di-index secepat mungkin, bisa jadi website baru yang baru saja online atau bisa saja website dengan jumlah halaman yang banyak. Mereka meng-update website mereka secara rutin, dan mereka khawatir halaman website mereka tidak di-crawl dengan cepat.

Saya sering mendeskripsikannya sebagai tantangan untuk menyeimbangkan antara 2 hal: 1) tidak membebankan website, dan 2) menggunakan sumber daya Google di tempat yang penting.

John Mueller baru-baru ini juga membuat tweet bahwa Google tidak meng-index segalanya dan menyebutkan tidak semuanya bermanfaat.

Baca Juga:   Apa itu Crawl Budget? Seberapa Penting bagi SEO, dan Bagaimana Cara Mengoptimasinya?

Berikut tweet dari John Mueller:

Penting untuk diingat bahwa Google tidak akan meng-index semua halaman yang ada di web, bahkan jika halaman tersebut dikirimkan/di-submit secara langsung. Apabila tidak ada error, halaman tersebut mungkin terpilih untuk di-index seiring waktu, atau bisa saja Google akan memilih halaman lain yang ada di website Anda.

Lalu John melanjutkan di tweet lainnya:

Jadi, kebanyakan praktisi SEO & pemilik website (mungkin bukan Anda!) membuat konten halaman web yang jelek, yang tidak layak untuk di-index. Hanya karena halaman tersebut ada, tidak berarti halaman tersebut bermanfaat bagi user.

Martin Splitt menyebut bahwa proses crawling merupakan masalah “menggunakan sumber daya Google di tempat yang penting”. John Mueller menyebut tentang “bermanfaat untuk users.”

Usefulness atau “kebermanfaatan” adalah sudut pandang yang menarik untuk menilai sebuah konten, ketimbang saran biasanya bahwa sebuah konten harus menargetkan user intent (maksud pengguna) dan dioptimasi untuk keyword tersebut.

Sebagai contoh, Roger Montti, pernah melakukan peninjauan terhadap website YMYL (Your Money Your Life), yang mana keseluruhan website terlihat seperti dibuat dari ceklis to-do SEO:

  • Buat halaman profil penulis 
  • Berikan link ke Linkedin page di halaman profil penulis
  • Traffic dioptimasi dengan keyword tertentu.
  • Memberikan outbound link ke website ber-authority tinggi

Si pembuat website ternyata menggunakan AI generated images untuk biografi penulis, yang mana digunakan juga di profil Linkedin palsu.

Banyak webpage (halaman web) di dalam website tersebut yang mengarahkan link ke web berdomain .gov yang memiliki keyword di title namun tidak ada gunanya sama sekali.

Si pembuat website sepertinya tidak melakukan analisis terlebih dahulu apakah webpage pemerintah itu layak untuk diberikan outbound link atau tidak.

Sederhananya, si pembuat web tadi terlalu terpaku dengan ceklis to-do SEO, kemudian menyelesaikan setiap aktivitas yang ada, mulai dari memberikan link ke web berdomain .gov, membuat profil penulis, dan seterusnya.

Pada akhirnya, si pemilik website ini mencoba untuk membuat website-nya berkualitas, tapi dia lupa untuk membuat website tersebut bermanfaat bagi user.

Cukup ironi bukan?

Crawl Budget Bukanlah Sesuatu yang Harus Anda Khawatirkan

Apakah teman-teman DailySEO ID merasa khawatir mengenai crawl budget di website yang teman-teman kelola?

Baca Juga:   7 Tips dan Cara Agar Website Cepat Terindex Google

Saran penulis jangan khawatir, kenapa? Karena Gary Illyes dan Martin Splitt menyatakan kita tidak perlu khawatir dengan crawl budget.

Gary Illyes menyampaikan:

.. Hal ini (kekhawatiran akan crawl budget) sebagiannya saya rasa karena kekhawatiran akan terjadinya sesuatu yang tidak dapat mereka kontrol. Sebagian yang lain sepertinya misinformasi saja.

…Pernah ada beberapa blog yang membicarakan crawl budget, dan pada akhirnya para pembacanya pun menjadi bingung tentang “apakah saya harus khawatir dengan crawl budget atau tidak?”.

Martin Splitt bertanya:

Tapi katakanlah Anda adalah salah satu pemilik blog populer… Apakah Anda harus khawatir dengan crawl budget?

Kemudian Gary menjawab:

Saya pikir kebanyakan orang tidak perlu khawatir. Ketika saya bilang “kebanyakan”, kemungkinan lebih dari 90% website di internet tidak harus khawatir mengenai crawl budget.

Beberapa menit kemudian Martin menambahkan:

Tapi orang-orang mengkhawatirkannya (crawl budget), dan saya tidak terlalu yakin mengapa.

Saya pikir kekhawatiran ini datang dari sejumlah website berskala besar (ratusan ribu pages atau lebih) yang memiliki artikel dan postingan blog, di mana mereka menyebut mengenai crawl budget menjadi sesuatu yang penting mereka perhatikan.

Hal ini juga dibahas di sejumlah kursus SEO. Bahkan saya mengamati crawl budget mulai didiskusikan di konferensi.

Tapi permasalahan crawl budget jarang terjadi. Ini bukanlah masalah yang dihadapi setiap website, namun, orang-orang menjadi gelisah karenanya.

Bagaimana Google Menentukan Apa yang Akan Di-Index

Pada bagian kali ini kita akan membahas faktor apa saja yang memengaruhi Google dalam meng-index konten. Seperti kita tahu, prosesnya adalah crawling dulu, baru indexing.

Hal menariknya adalah ketika Gary Illyes menyampaikan tentang keinginan Google untuk meng-index konten yang mungkin dicari oleh user.

Gary Illyes mengatakan:

…Seperti yang sudah kami katakan, kami memiliki sumber daya yang terbatas, sehingga kami ingin meng-index sesuatu yang kami pikir (tepatnya, “algoritma kami”) merupakan konten yang mungkin dicari oleh user. Jika kami belum mendapatkan sinyal mengenai website atau URL tertentu atau apapun itu, lalu bagaimana kami tahu bahwa kami perlu melakukan crawling untuk indexing?

Selanjutnya ada Lizzi Sassman, Google Search Central tech writer. Ia bicara tentang bagaimana Google menyimpulkan apakah suatu konten baru layak atau tidak di-index, berdasarkan penilaian Google terhadap website tersebut secara keseluruhan.

Sebagai contoh, katakanlah Anda baru menambahkan sub-directory blog di website utama Anda. Keputusan apakah Google akan melakukan crawling blog yang masih baru tersebut diambil dari kesimpulan Google terhadap website utama tersebut.

Lizzi Sassman: tapi kalau konten di blog tersebut akan di-update secara lebih sering, bagaimana Google bisa tahu kalau kontennya akan seperti itu, kan masih baru? Di awal ini, kami belum yakin apakah konten blognya akan seperti konten situs berita, frekuensi crawling-nya belum ditentukan.

Gary Illyes: tapi kami tetap butuh suatu sinyal pemantik/di awal.

Lizzi Sassman: dan sinyal tersebut adalah….

Gary Illyes: disimpulkan dari penilaian keseluruhan website utama.

Gary kemudian mengalihkan pembicaraan ke quality signals (sinyal kualitas). Quality signal yang mereka bicarakan adalah terkait dengan minat user, seperti apakah user tertarik dengan produk ini? Apakah orang-orang tertarik dengan website ini?

Baca Juga:   Cara Install & Setting WP Super Cache untuk Mempercepat Loading Speed Website WordPress

Gary Illyes menjelaskan:

ini bukan hanya tentang frekuensi update konten. Ini juga terkait dengan quality signals yang dimiliki website utama.

Contohnya, jika kita melihat sejumlah pola yang sangat populer di pengguna internet, seperti misalnya ada website yang menjual produk X yang sangat populer.

Lalu pengguna di Reddit membicarakannya, website lainnya memberi link ke website itu, maka itu merupakan sinyal bagi kami bahwa orang-orang menyukai website tersebut secara umum.

Gary lanjut membicarakan sinyal popularitas dan minat/interest. Dalam contoh ini, ia memberi pemisalan satu direktori baru yang baru saja diluncurkan di dalam sebuah website.

Gary Illyes:

Katakanlah website utama Anda tidak dibicarakan oleh users lainnya, tidak di-link oleh website lainnya, lalu Anda meluncurkan satu direktori baru.

Kami melihat ini sebagai, “orang-orang saja sudah tidak suka website Anda, jadi buat apa Google meng-crawl direktori baru ini?”

Rangkuman: Seputar Crawl Budget dan Website yang Akan Di-Index Google

Agar lebih mudah, berikut adalah rangkuman dari apa yang telah dibahas di atas:

  • Google memiliki sumber daya yang terbatas, sehingga tidak dapat meng-index semua yang ada di web
  • Karena Google tidak dapat meng-index semuanya, maka Google harus selektif dengan hanya meng-index konten yang penting
  • Topik konten yang penting cenderung didiskusikan di Internet
  • Website yang berkualitas cenderung memiliki kebermanfaataan, cenderung dibicarakan orang-orang, dan mendapatkan link

Penutup

Tentu saja, apa yang dibahas di atas bukanlah daftar komprehensif dari segala sesuatu yang berkaitan dengan indexing. Bukan juga sebuah ceklis.

Ini semua hanyalah buah pikiran tentang hal-hal yang begitu penting bagi Google sehingga Gary Illyes dan Martin Splitt pun membahasnya.

Akan tetapi menurut kami, hal ini sangat penting di tengah banyaknya kasus mengenai status website kita di Google Search Console, seperti Discovered – Currently Not Indexed (Ditemukan – saat ini tidak diindeks), maupun Crawled – Currently Not Indexed (Di-crawl, saat ini tidak diindeks).

Diskusi ini semoga bisa memberikan titik cerah bagi Anda para pemilik website & praktisi SEO, bahwa kita harus terus membuat konten yang bermanfaat untuk users kita, agar Google mau meng-crawl dan meng-index konten kita.

Bagaimana menurut teman-teman? Sebagai penutup, jika ada pertanyaan silakan beritahu kami dengan cara menuliskan komentar di bawah atau bisa gabung ke grup Telegram Daily SEO di sini, jangan lupa untuk berperan aktif di dalam grup ya!

Sumber:

Search Engine Journal

Dapatkan berita terbaru seputar SEO Gratis!
Subscribe Sekarang!

Author

I began my SEO journey in 2017 and deepened my expertise in 2019. Since then, I’ve managed SEO for Farmaku.com, DokterSehat.com, and Impulse Digital Agency, while also contributing to DailySEO ID. Now, as a full-time freelancer, I focus on helping B2B companies improve their search visibility and achieve their goals.

Write A Comment