Cara Kerja Google Search Engine: Crawling - Indexing - Ranking

Sebagai seorang yang menekuni Search Engine Optimization (SEO), kita tidak hanya perlu mempelajari SEO, tetapi juga harus mempelajari bagaimana search engine/mesin pencari Google Search bekerja.

Tanpa mengetahui cara kerja search engine, kita tidak akan pernah tau apa yang harus kita lakukan pada website untuk dapat “dikenali” dengan mudah oleh Google di masing-masing tahapan proses kerjanya.

Mengetahui cara kerja Google search engine adalah dasar dari SEO.

Agar pondasi SEO teman-teman semakin kuat, silakan baca tulisan ini sampai selesai.

Daftar Isi

Mengenal Apa itu Search Engine
Tentang Google Search
- Beberapa Catatan Penting Terkait Google Search
Mengenal 3 Tahap Cara Kerja Google Search

Mengenal Apa itu Search Engine

Search engine (mesin pencari) adalah sebuah program software (perangkat lunak) yang diciptakan untuk membantu orang-orang dalam menemukan informasi yang sedang mereka cari secara online menggunakan sejumlah query, frasa, atau keyword (kata kunci).

Search engine dengan berbagai teknologi di dalamnya mampu memberikan hasil penelusuran dengan cepat meskipun jumlah website yang ada sangat banyak.

Tentang Google Search

Google Search adalah sebuah search engine besutan Google yang sepenuhnya otomatis yang bekerja menggunakan software (web crawler) untuk mengeksplorasi website secara rutin dan menemukan web page (halaman web) yang kemudian dimasukkan ke dalam index.

Sebagian besar web page yang tercantum dalam hasil penelusuran Google tidak dimasukkan secara manual, tetapi website-website tersebut ditemukan dan ditambahkan ke dalam index secara otomatis saat Google web crawler menjelajahi web.

Beberapa Catatan Penting Terkait Google Search

Teman-teman perlu tahu bahwa Google tidak menerima pembayaran dalam bentuk apapun untuk dapat meng-crawl website menjadi lebih sering, atau untuk memberikan ranking tertinggi di search engine results page (SERP).

Jika ada yang mengatakan Google menerima bayaran, itu artinya mereka keliru.

Google juga tidak memberikan jaminan apapun terkait proses crawl (perayapan), index, atau menampilkan website Anda di Google Search meskipun Anda telah menerapkan panduan dan kebijakan Google untuk para pemilik website.

Meskipun tidak ada garansi, menerapkan panduan Google di atas adalah cara terbaik untuk membuat website Anda lebih berpotensi sukses di Google Search.

Mengenal 3 Tahap Cara Kerja Google Search

Google Search bekerja dalam 3 tahap, yaitu:

Crawling (Perayapan): Google men-download teks, gambar, dan video dari web page yang ditemukannya di internet melalui program otomatis bernama Crawler.
Indexing (Pengindeksan): Google menganalisa teks, gambar, dan video di web page, dan menyimpan informasi tersebut di Google index, Google index ini merupakan database yang besar.
Ranking/Serving search result (Menampilkan hasil penelusuran): Saat user (pengguna) melakukan penelusuran di Google Search, Google akan menampilkan informasi yang relevan sesuai dengan apa yang user cari.

Harap dicatat, tidak ada jaminan semua web page yang Anda miliki akan berhasil melewati setiap proses di atas.

Di atas hanyalah penjelasan singkatnya, sekarang kita coba bahas crawling, indexing, dan ranking (serving search result) secara lengkap.

Crawling

Proses pertama yang Google lakukan adalah crawling, yaitu proses menemukan web page yang ada di web (internet).

Teman-teman perlu tahu bahwa Google tidak memiliki pusat data yang mendapatkan informasi tentang seluruh web page di dunia, sehingga Google harus secara rutin mencari web page baru dan ter-update untuk diletakkan ke dalam lists of known pages (daftar web page yang diketahui), proses ini disebut “URL discovery”.

Beberapa web page sudah diketahui karena Google telah mengunjunginya, sementara web page lainnya ditemukan saat Google menelusuri link dari web page yang sudah diketahui, contohnya seperti hub page, category page, internal link ke postingan blog terbaru, dan juga dengan cara mengirimkan kumpulan link (sitemap) via Google Search Console.

Saat Google menemukan sebuah URL web page, maka Google akan mengunjungi (atau meng-crawl) web page tersebut untuk mencari tahu konten apa yang dibahas.

Semua langkah-langkah tadi Google lakukan menggunakan komputer berjumlah besar untuk meng-crawl miliaran web page.

Google menggunakan program yang dinamakan Googlebot yang juga dikenal dengan sebutan crawler, robot, bot, atau spider. Googlebot ini bekerja secara algoritmik untuk memutuskan web page mana yang akan di-crawl, seberapa sering, dan seberapa banyak web page diambil dari sebuah website.

Google crawler juga diprogram untuk tidak meng-crawl website terlalu cepat agar terhindar dari overloading (kelebihan beban).

Meskipun Googlebot ini canggih, namun tetap saja ia tidak wajib untuk meng-crawl semua web page yang ia temukan. Sebab sangat mungkin Googlebot ini “dilarang” untuk melakukan crawling oleh site owner, atau bisa juga karena ada permasalah teknis yang membuat Googlebot tidak bisa melakukan crawling.

Beberapa problem yang sering dijumpai saat crawling:

Selama proses crawling, Google akan merender web page dan menjalankan setiap JavaScript yang ia temukan menggunakan versi Google Chrome terkini, dan cara ini mirip dengan cara kerja browser yang Anda gunakan saat melakukan rendering website yang sedang Anda kunjungi.

Proses rendering adalah proses yang penting karena kebanyakan website mengandalkan JavaScript untuk menampilkan kontennya, tanpa rendering Google mungkin akan kesulitan untuk melihat isi konten tersebut.

Indexing

Proses selanjutnya adalah indexing, tahap indexing dilakukan setelah tahap crawling web page rampung.

Pada tahap ini, Google mencoba memahami apa yang dibahas oleh web page tersebut, melakukan processing (pengolahan) dan menganalisis konten tekstual, tag, dan attribute seperti elemen title, description, alt image, gambar, video, dan yang lainnya.

Selama proses ini dikerjakan, Google akan memutuskan apakah web page ini memiliki duplicate (salinan) dengan web page lainnya yang ada di satu website atau internet atau canonical.

Canonical sendiri adalah web page yang kemungkinan besar akan ditampilkan di search result.

Google memilih web page canonical dengan cara mengelompokkan web page yang memiliki konten serupa, kemudian memilih satu yang paling sesuai dengan apa yang user cari.

Selebihnya akan menjadi web page alternatif apabila user melakukan penelusuran menggunakan device yang berbeda atau mencari topik/konten yang lebih spesifik.

Google search engine tidak hanya mengelompokkan canonical page, tetapi juga mengumpulkan sejumlah sinyal (data) dan konten yang ada di dalamnya, karena web page tersebut masih mungkin untuk ditampilkan di search result.

Beberapa contoh sinyal yang Google pertimbangkan adalah:

Bahasa yang digunakan di dalam website
Negara tempat beradanya konten
Usability (kegunaan) dari web page, dan seterusnya

Harap diingat, tidak ada jaminan untuk proses indexing ini, karena tidak semua web page yang Google crawl akan dapat di-index.

Beberapa masalah yang sering dijumpai saat proses indexing:

Ranking Serving Search Result

Serving search result terjadi ketika user mengetikan query/frasa, lalu Google akan mencari (web page pada index-nya) dan menampilkan web page yang paling sesuai, berkualitas, dan relevan bagi user. Dalam bahasa awam, proses ini disebut ranking, karena halaman yang berada di ranking lebih atas adalah yang merupakan halaman yang dianggap lebih relevan bagi user.

Relevansi ini diukur dari banyak faktor, salah satunya:

Lokasi user
Bahasa
Device (Desktop atau telepon seluler)

Sebagai contoh, penelusuran “toko bunga” akan menampilkan hasil berbeda bagi user yang ada di Jakarta, Indonesia dengan user yang ada di Turin, Italia.

Teman-teman juga perlu tahu, sangat mungkin website terlihat sudah terindex di Google Search Console report, namun ketika dicek di search result nyatanya tidak tampil.

Hal ini bisa terjadi karena beberapa sebab:

Konten yang tidak relevan
Konten yang tidak berkualitas
Pemblokiran oleh meta robots

Penutup

Kesimpulannya, Google bekerja atas tiga tahap, yaitu:

Crawling > Indexing > Ranking/Serving search result

Masing-masing tahap di atas merupakan bagian krusial untuk website. Oleh karena itu teman-teman perlu lebih dalam memahami tentang optimasi website terkait Google crawling hingga indexing.

Anda bisa baca artikel tentang crawl budget, jika ingin tahu lebih lanjut tentang proses crawling.

Disarankan juga untuk mengikuti panduan SEO Google agar website Anda berpotensi mendapatkan performa terbaik.

Akhir kata, ada pertanyaan terkait cara kerja Google Search ini?

Silakan beritahu kami dengan cara menuliskan komentar di bawah atau bisa gabung ke grup Telegram Daily SEO di sini, jangan lupa untuk berperan aktif di dalam grup ya!

Sumber:

https://developers.google.com/search/docs/advanced/guidelines/how-search-works