Belakangan, para praktisi SEO dan pemilik website mengeluhkan Google yang semakin lambat meng-index konten mereka. Siapa sangka, ini disebabkan ulah para SEO spammer, yang membuat Google harus bekerja keras dan memilih URL mana yang mau di-index dan di-crawl.

Google mengatakan bahwa tidak ada cara secara objektif bagi Google untuk melakukan crawling ke semua URL di web, karena crawling itu mahal dan bisa menjadi tidak efisien. Selain itu, website di seluruh penjuru Internet berubah dengan sangat cepat, dan ada banyak sekali konten spam dan sampah yang harus diperhatikan oleh Google agar bisa diabaikan.

Lambatnya Crawling & Indexing Google Beberapa Waktu Terakhir

Bermacam-macam diskusi di berbagai forum praktisi SEO, blogger, dan pemilik website, hingga observasi pribadi penulis, mengeluhkan hal serupa: beberapa bulan terakhir Google semakin lambat melakukan crawling & indexing website kita. Posting konten hari ini, baru muncul di Google SERP beberapa hari kemudian.

Begitu URL-nya dicek di Google Search Console, statusnya Crawled – currently not indexed (di-crawl – saat ini tidak diindeks). Status ini menunjukkan bahwa halaman telah di-crawl oleh Google, tetapi tidak diindeks.

Atau lebih parah lagi, statusnya Discovered – currently not indexed (ditemukan – saat ini tidak diindeks). Google sudah tahu ada URL halaman tersebut, tapi boro-boro masuk ke index, Google saja tidak mau masuk dan crawl halaman itu.

Penulis sendiri merasakan hal ini paling parah terjadi pada website yang relatif masih baru. Setelah seminggu, baru 2 dari 10 konten yang dibuat minggu lalu masuk di index Google!

Tidak ada keterangan mengenai apa yang harus dilakukan kalau halaman kita berada dalam kondisi ini. Laman bantuan Google Search Console hanya menyebutkan hal seperti ini:

Discovered – currently not indexed (Ditemukan – saat ini tidak diindeks): [..] Biasanya, Google ingin meng-crawl URL, tetapi hal ini diperkirakan akan membebani situs. Oleh karena itu, Google menjadwalkan ulang crawl.

Crawled – currently not indexed (Di-crawl – saat ini tidak diindeks): [..] Halaman ini mungkin diindeks atau mungkin tidak diindeks di masa mendatang; tidak perlu mengirim ulang URL ini untuk crawling.

Bahkan Google mengatakan bahwa keadaan ini bisa saja bertahan selamanya, tanpa kejelasan apa yang harus kita lakukan!

Baca Juga:   Apakah Exact Match Domain Memengaruhi Ranking di Google Search?

Baca juga: Status Discovered – Currently Not Indexed (Ditemukan – saat ini tidak diindeks) di Search Console bisa Bertahan Selamanya!

John Mueller dari Google: Mengapa Google Tidak Meng-Crawl & Meng-Index Semua URL

Dalam sebuah forum diskusi di Reddit, John Mueller, Search Advocate di Google, menjawab pertanyaan, “mengapa tools SEO tidak menunjukkan semua backlinks?”

John Mueller menjawab dari sudut pandang Google, sebagai berikut.

Tidak ada cara yang objektif untuk bisa meng-crawl seluruh website dengan baik.

Secara teori, tidak mungkin ada yang bisa meng-crawl seluruh website, karena jumlah URL yang ada di seluruh Internet itu bisa dibilang tidak terbatas.

Karena tidak ada satupun yang sanggup menyimpan jumlah URL yang tidak terbatas itu di database mereka (yang terbatas, -red), semua web crawler menggunakan asumsi, simplifikasi, dan menebak mana URL yang secara realistis berharga untuk di-crawl.

Walaupun demikian, pada prakteknya kami tidak bisa melakukan crawl seluruh URL setiap saat, karena the internet tidak punya cukup bandwidth dan konektivitas untuk itu.

Akan menghabiskan banyak sekali uang (bagi crawler dan bagi pemilik situs) jika kami meng-crawl banyak halaman secara teratur.

Di luar itu, ada website yang berubah dengan cepat, sementara yang lain tidak berubah selama 10 tahun. Jadi crawlers mencoba untuk fokus di website yang mereka perkirakan akan berubah isinya dibanding dengan yang tidak.

Kemudian, kita bersentuhan dengan isu crawler yang berusaha untuk mengetahui halaman-halaman mana yang sebenarnya berguna (untuk users).

Internet dipenuhi oleh sampah yang orang tidak pedulikan, halaman yang spam dan tidak berguna.

Situs-situs ini mungkin masih berubah secara regular. Mereka punya URL yang wajar, tapi situs seperti ini ditakdirkan untuk berakhir di “tempat sampah”, dan search engine apapun yang peduli dengan user mereka pasti akan mengabaikan situs seperti itu.

Kadangkala, kami menemukan situs yang jelas-jelas bukan sampah/spam. Secara teknis, situsnya OK, hanya saja tidak mencapai level standar kualitas yang kami inginkan untuk bisa di-crawl lebih sering. Semakin sering kami menemukan situs seperti itu.

Oleh karena itu, semua crawler (termasuk SEO tools) bekerja dalam kumpulan URL yang disederhanakan. Kami harus menentukan seberapa sering melakukan crawling, URL mana yang harus di-crawl lebih sering, dan bagian mana di Internet yang harus diabaikan.

Tidak ada aturan yang pasti dalam hal ini, jadi setiap tool harus membuat keputusan mereka sendiri. Itulah mengapa search engine yang berbeda punya website yang berbeda dalam index-nya, mengapa beda SEO tools beda pula links yang ditampilkan, dan mengapa metrics dari links tersebut juga sangat berbeda.

SEO Spammer Membuat Susah Google dan Semua Pemilik Website di Dunia

Satu bagian dari jawaban John Mueller menarik untuk disorot, yaitu bagian yang menyoroti halaman-halaman sampah, spam, dan tidak berguna:

Internet dipenuhi oleh sampah yang orang tidak pedulikan, halaman yang spam dan tidak berguna.

[..]

Oleh karena itu, semua crawler (termasuk SEO tools) bekerja dalam kumpulan URL yang disederhanakan. Kami harus menentukan seberapa sering melakukan crawling, URL mana yang harus di-crawl lebih sering, dan bagian mana di Internet yang harus diabaikan.

Google menunjukkan bahwa semakin banyak halaman website yang ada di penjuru Internet, semakin berat kerja search engine untuk meng-crawl semua halaman itu. Ditambah lagi, banyak sekali konten-konten itu masuk klasifikasi konten sampah dan tidak berguna.

Baca Juga:   Apa Itu Local SEO? Seberapa Penting bagi Keberlangsungan Bisnis?

Secara langsung, hal ini membuat Google harus memilih URL mana yang mau di-crawl. Secara tidak langsung, hal ini membuat kita semua yang memiliki konten yang kita niatkan berguna untuk users jadi “kena getahnya”.

Konten kita jadi semakin jarang di-crawl Google, karena Google harus terlebih dahulu memilah mana konten yang berguna, mana yang tidak berguna, sebelum datang untuk melakukan crawling.

Bayangkan kalau halaman-halaman yang ada di Internet adalah konten yang berguna. Mungkin search engine tidak harus memilah-milah dulu sehingga bisa crawling semua halaman di Internet.

SEO spammer adalah pihak yang harus bertanggung jawab atas melimpahnya konten sampah di Internet yang memunculkan masalah crawling & indexing ini. Mereka adalah orang-orang yang mengakali search engine supaya website mereka bisa ranking tinggi di SERP, agar bisa mendapatkan uang dari Internet, dengan cara membuat banyak sampah, misalnya:

1. Website auto-generated

Website seperti ini melakukan scrapping atau mencuri konten dari website lain, baik tulisan maupun gambar, lalu dijadikan konten di website-nya sendiri.

Tujuannya apa? Supaya mereka bisa punya website dengan konten, tapi tidak mau repot-repot menulis atau membuat konten. Website tersebut akan dipasangi iklan, sehingga mereka mendapat uang dari traffic yang masuk ke konten sampah tersebut.

2. Auto generate konten artikel (article spin)

Dengan menggunakan sebuah software, kita bisa menghasilkan ratusan hingga ribuan konten unik hanya dengan sekali klik. Pertanyaannya, apakah konten yang dihasilkan berguna untuk user? Jawabannya: tidak. Jangankan berguna, artikel yang dihasilkan oleh mesin seperti ini bahkan tidak bisa dibaca.

Baca juga: Apa itu Artikel SEO? Bagaimana Cara Menulis Artikel yang SEO Friendly?

Baca Juga:   7 SEO Tools Gratis untuk Membantu Aktivitas SEO Kita

3. Backlink spam

Kita tahu backlink penting untuk meningkatkan ranking. Akan tetapi, search engine sudah memiliki panduan mengenai link yang terlarang, yang sayangnya tidak dipatuhi oleh para pemain SEO.

4. Jasa meningkatkan Domain Authority (DA) atau Domain Rating (DR)

Merupakan salah satu salah kaprah terbesar bagi para pemilik website, memiliki DA atau DR tinggi dianggap akan mempermudah mendapatkan ranking tinggi di search engine. Padahal Moz sendiri sebagai pembuat metrics DA menyatakan bahwa Domain Authority bukanlah Google ranking factor dan tidak ada efeknya di Search Engine Result Page Google.

Secara teknis, jasa meningkatkan DA ini menggunakan backlink spam juga, tapi berfokus di meningkatkan nilai DA secara artifisial.

Penutup

Berhati-hatilah dengan teknik dan strategi optimasi yang dipelajari dan dijalankan. Teknik tertentu mungkin bisa meningkatkan ranking dalam jangka waktu pendek, tapi malah merugikan banyak orang dalam jangka waktu panjangnya.

Baca juga: 6 Langkah Awal Belajar SEO Bagi Pemula yang Segera Bisa Dipraktikkan

Contohnya adalah teknik spamming yang sudah tidak membawa manfaat bagi user, malah memperlambat kerja search engine karena harus memilih URL mana yang harus di-index dan di-crawl.

Hal ini menyulitkan pemilik website yang punya konten yang betul-betul berguna buat user, karena tidak bisa membuat kontennya ter-index di SERP secepat dulu lagi.

SEO sejatinya adalah membantu manusia dan mesin, bukan sekedar teknik untuk mengakali algoritma search engine hanya demi ranking yang tinggi sesaat, tapi sebenarnya merusak untuk jangka panjang. Setuju?

source: https://www.seroundtable.com/why-google-does-not-crawl-index-every-url-33117.html

Author

Founder & Editor-in-Chief DailySEO ID | SEO Instructor & Curriculum Creator at RevoU | Former Digital Marketing Lead at Glints | Former Head of SEO & Product Manager at Traveloka | Father of 3

12 Comments

  1. hmmmm, bagus sih tapi sangat saya sayangkan untuk menuduh SEO spammer sebagai penyebabnya. SEO spammer ini juga memiliki tujuan untuk “melihatkan produk mereka” dan mencari penghidupan dari jalan tersebut.

    • Tujuannya nggak ada yang salah sih bro, semua orang juga pengen mencari penghidupan. Tapi bagaimana dengan proses/cara yang sampai mengganggu penghidupan orang lain juga?

  2. Setuju sama mas di atas. Gak bisa serta merta menyalahkan spammers-spammers itu gitu aja. Google-nya memang harusnya ngebuka algoritma mereka ke publik sih biar kompetisi SEO bisa dilakukan secara objektif bukan subjektifnya Google aja yang menentukan mana yang naik mana yg dicrawl aja ogah.

      • Mengatakan kalau Google itu objektif agaknya kurang tepat, mas. Ada banyak menurut saya yang sudah mengikuti panduan yang sudah diberikan oleh Google, tetapi masih nggak dapat visility yang bagus di Google. Boro-boro visibility bagus, diindex aja nggak. Padahal sudah sesuai guideline banget. Nah, ini artinya apa? artinya mau ngikuti guideline senurut apapun, ujung-ujungnya tetep ke-subjektifitasan Google untuk milih siapa-siapa yang muncul.

        Ini baru dari hal teknis aja sudah gak subjektif.

        Gimana dengan situs yang membahas tentang YMYL? Google sama sekali gak ngasih ruang buat sumber alternative ngasih suara di search result.

        Kalo kita mau bahas tentang niche politik di US itu jauh lebih parah lagi. Aku kurang setuju kalo mas nyatakan kalo Google itu objektif dalam menentukan ranking di search result.

        • Saya nggak ada maksud membela Google mati-matian ya, saya cuma punya prinsip, “kalo kita berharap traffic dari Google, ya ikuti peraturan, jangan malah melakukan hal-hal yang melanggar peraturan”.

          Kalau ikut peraturan aja belum tentu bisa dapet traffic, apalagi kalau melanggar peraturan? Begitulah hidup om bro, memang tidak selalu berjalan dengan keinginan kita 🙂

          Pada akhirnya, boleh ya kita agree to disagree.

  3. Saya menemukan artikel ini di tengah-tengah pencarian saya, “Kenapa kok sekarang index google agak beda ya?” ternyata memang algoritmanya sudah berbeda. Impact nya kesemua pemilik situs jadi butuh beberapa hari untuk terindex.

  4. Sependapat mas, saya masih inget dulu awal sekitar th 2015 an, artikel 100, 200 an kata submit gsc ga sampai 5 menit dah terindex kadang malah dah sampai halaman 1 dan dapat traffic, berbeda banget dengan sekarang, artikel bagus 1000an kata lebih ga kunjung ke index,

    kira kira ada saran selain produksi konten dengan kualitas yang baik, rutin update, struktur tampilan yang ramah seo, dan menunggu di index oleh google apa ga ya mas?

    kalau untuk blog pribadi mungkin bisa sabar menunggu tapi kalau untuk jasa seo, terlebih yang bekerja sebagai karyawan atasan seringnya tidak mau tahu proses yang ada penginnya terindex teranking dan dapat traffic, apa lagi website yang baru saja di buat

    kira kira untuk website baru apakah masih ada peluang di era seperti ini kalau menggunakan seo dengan anggaran yang minimum, apakah yang bisa bertahan hanya website website besar dengan dukungan dana yang banyak?

    selain itu apakah faktor server berpengaruh? saya pernah handel klien dengan shared hosting dengan konten yang saya rasa sudah cukup baik, untuk indexnya lama sampai hitungan bulan baru terindex, beberapa waktu berlalu saya juga pernah handel website dedicated server 1 website di dalamnya dengan konten yang biasa saja bisa terindex dalam hitungan jam

    jadi apa saja saran terbaik untuk saat ini bila mempunyai anggaran yang lebih terbatas? terima kasih

  5. Menurut anda kira-kira artikel berapa kata ya biar bisa di crawl oleh google?

    • Saya hitungan hari sih di index. Kayaknya status DA berpengaruh terhadap kecepatan index.
      artikel yang bagusnya kayanya di atas 800 kata

Write A Comment