Belakangan, para praktisi SEO dan pemilik website mengeluhkan Google yang semakin lambat meng-index konten mereka. Siapa sangka, ini disebabkan ulah para SEO spammer, yang membuat Google harus bekerja keras dan memilih URL mana yang mau di-index dan di-crawl.
Google mengatakan bahwa tidak ada cara secara objektif bagi Google untuk melakukan crawling ke semua URL di web, karena crawling itu mahal dan bisa menjadi tidak efisien. Selain itu, website di seluruh penjuru Internet berubah dengan sangat cepat, dan ada banyak sekali konten spam dan sampah yang harus diperhatikan oleh Google agar bisa diabaikan.
Daftar Isi
Lambatnya Crawling & Indexing Google Beberapa Waktu Terakhir
Bermacam-macam diskusi di berbagai forum praktisi SEO, blogger, dan pemilik website, hingga observasi pribadi penulis, mengeluhkan hal serupa: beberapa bulan terakhir Google semakin lambat melakukan crawling & indexing website kita. Posting konten hari ini, baru muncul di Google SERP beberapa hari kemudian.
Begitu URL-nya dicek di Google Search Console, statusnya Crawled – currently not indexed (di-crawl – saat ini tidak diindeks). Status ini menunjukkan bahwa halaman telah di-crawl oleh Google, tetapi tidak diindeks.
Atau lebih parah lagi, statusnya Discovered – currently not indexed (ditemukan – saat ini tidak diindeks). Google sudah tahu ada URL halaman tersebut, tapi boro-boro masuk ke index, Google saja tidak mau masuk dan crawl halaman itu.
Penulis sendiri merasakan hal ini paling parah terjadi pada website yang relatif masih baru. Setelah seminggu, baru 2 dari 10 konten yang dibuat minggu lalu masuk di index Google!
Tidak ada keterangan mengenai apa yang harus dilakukan kalau halaman kita berada dalam kondisi ini. Laman bantuan Google Search Console hanya menyebutkan hal seperti ini:
Discovered – currently not indexed (Ditemukan – saat ini tidak diindeks): [..] Biasanya, Google ingin meng-crawl URL, tetapi hal ini diperkirakan akan membebani situs. Oleh karena itu, Google menjadwalkan ulang crawl.
Crawled – currently not indexed (Di-crawl – saat ini tidak diindeks): [..] Halaman ini mungkin diindeks atau mungkin tidak diindeks di masa mendatang; tidak perlu mengirim ulang URL ini untuk crawling.
Bahkan Google mengatakan bahwa keadaan ini bisa saja bertahan selamanya, tanpa kejelasan apa yang harus kita lakukan!
John Mueller dari Google: Mengapa Google Tidak Meng-Crawl & Meng-Index Semua URL
Dalam sebuah forum diskusi di Reddit, John Mueller, Search Advocate di Google, menjawab pertanyaan, “mengapa tools SEO tidak menunjukkan semua backlinks?”
John Mueller menjawab dari sudut pandang Google, sebagai berikut.
Tidak ada cara yang objektif untuk bisa meng-crawl seluruh website dengan baik.
Secara teori, tidak mungkin ada yang bisa meng-crawl seluruh website, karena jumlah URL yang ada di seluruh Internet itu bisa dibilang tidak terbatas.
Karena tidak ada satupun yang sanggup menyimpan jumlah URL yang tidak terbatas itu di database mereka (yang terbatas, -red), semua web crawler menggunakan asumsi, simplifikasi, dan menebak mana URL yang secara realistis berharga untuk di-crawl.
Walaupun demikian, pada prakteknya kami tidak bisa melakukan crawl seluruh URL setiap saat, karena the internet tidak punya cukup bandwidth dan konektivitas untuk itu.
Akan menghabiskan banyak sekali uang (bagi crawler dan bagi pemilik situs) jika kami meng-crawl banyak halaman secara teratur.
Di luar itu, ada website yang berubah dengan cepat, sementara yang lain tidak berubah selama 10 tahun. Jadi crawlers mencoba untuk fokus di website yang mereka perkirakan akan berubah isinya dibanding dengan yang tidak.
Kemudian, kita bersentuhan dengan isu crawler yang berusaha untuk mengetahui halaman-halaman mana yang sebenarnya berguna (untuk users).
Internet dipenuhi oleh sampah yang orang tidak pedulikan, halaman yang spam dan tidak berguna.
Situs-situs ini mungkin masih berubah secara regular. Mereka punya URL yang wajar, tapi situs seperti ini ditakdirkan untuk berakhir di “tempat sampah”, dan search engine apapun yang peduli dengan user mereka pasti akan mengabaikan situs seperti itu.
Kadangkala, kami menemukan situs yang jelas-jelas bukan sampah/spam. Secara teknis, situsnya OK, hanya saja tidak mencapai level standar kualitas yang kami inginkan untuk bisa di-crawl lebih sering. Semakin sering kami menemukan situs seperti itu.
Oleh karena itu, semua crawler (termasuk SEO tools) bekerja dalam kumpulan URL yang disederhanakan. Kami harus menentukan seberapa sering melakukan crawling, URL mana yang harus di-crawl lebih sering, dan bagian mana di Internet yang harus diabaikan.
Tidak ada aturan yang pasti dalam hal ini, jadi setiap tool harus membuat keputusan mereka sendiri. Itulah mengapa search engine yang berbeda punya website yang berbeda dalam index-nya, mengapa beda SEO tools beda pula links yang ditampilkan, dan mengapa metrics dari links tersebut juga sangat berbeda.
SEO Spammer Membuat Susah Google dan Semua Pemilik Website di Dunia
Satu bagian dari jawaban John Mueller menarik untuk disorot, yaitu bagian yang menyoroti halaman-halaman sampah, spam, dan tidak berguna:
Internet dipenuhi oleh sampah yang orang tidak pedulikan, halaman yang spam dan tidak berguna.
[..]
Oleh karena itu, semua crawler (termasuk SEO tools) bekerja dalam kumpulan URL yang disederhanakan. Kami harus menentukan seberapa sering melakukan crawling, URL mana yang harus di-crawl lebih sering, dan bagian mana di Internet yang harus diabaikan.
Google menunjukkan bahwa semakin banyak halaman website yang ada di penjuru Internet, semakin berat kerja search engine untuk meng-crawl semua halaman itu. Ditambah lagi, banyak sekali konten-konten itu masuk klasifikasi konten sampah dan tidak berguna.
Secara langsung, hal ini membuat Google harus memilih URL mana yang mau di-crawl. Secara tidak langsung, hal ini membuat kita semua yang memiliki konten yang kita niatkan berguna untuk users jadi “kena getahnya”.
Konten kita jadi semakin jarang di-crawl Google, karena Google harus terlebih dahulu memilah mana konten yang berguna, mana yang tidak berguna, sebelum datang untuk melakukan crawling.
Bayangkan kalau halaman-halaman yang ada di Internet adalah konten yang berguna. Mungkin search engine tidak harus memilah-milah dulu sehingga bisa crawling semua halaman di Internet.
SEO spammer adalah pihak yang harus bertanggung jawab atas melimpahnya konten sampah di Internet yang memunculkan masalah crawling & indexing ini. Mereka adalah orang-orang yang mengakali search engine supaya website mereka bisa ranking tinggi di SERP, agar bisa mendapatkan uang dari Internet, dengan cara membuat banyak sampah, misalnya:
1. Website auto-generated
Website seperti ini melakukan scrapping atau mencuri konten dari website lain, baik tulisan maupun gambar, lalu dijadikan konten di website-nya sendiri.
Tujuannya apa? Supaya mereka bisa punya website dengan konten, tapi tidak mau repot-repot menulis atau membuat konten. Website tersebut akan dipasangi iklan, sehingga mereka mendapat uang dari traffic yang masuk ke konten sampah tersebut.
2. Auto generate konten artikel (article spin)
Dengan menggunakan sebuah software, kita bisa menghasilkan ratusan hingga ribuan konten unik hanya dengan sekali klik. Pertanyaannya, apakah konten yang dihasilkan berguna untuk user? Jawabannya: tidak. Jangankan berguna, artikel yang dihasilkan oleh mesin seperti ini bahkan tidak bisa dibaca.
Baca juga: Apa itu Artikel SEO? Bagaimana Cara Menulis Artikel yang SEO Friendly?
3. Backlink spam
Kita tahu backlink penting untuk meningkatkan ranking. Akan tetapi, search engine sudah memiliki panduan mengenai link yang terlarang, yang sayangnya tidak dipatuhi oleh para pemain SEO.
Merupakan salah satu salah kaprah terbesar bagi para pemilik website, memiliki DA atau DR tinggi dianggap akan mempermudah mendapatkan ranking tinggi di search engine. Padahal Moz sendiri sebagai pembuat metrics DA menyatakan bahwa Domain Authority bukanlah Google ranking factor dan tidak ada efeknya di Search Engine Result Page Google.
Secara teknis, jasa meningkatkan DA ini menggunakan backlink spam juga, tapi berfokus di meningkatkan nilai DA secara artifisial.
Penutup
Berhati-hatilah dengan teknik dan strategi optimasi yang dipelajari dan dijalankan. Teknik tertentu mungkin bisa meningkatkan ranking dalam jangka waktu pendek, tapi malah merugikan banyak orang dalam jangka waktu panjangnya.
Baca juga: 6 Langkah Awal Belajar SEO Bagi Pemula yang Segera Bisa Dipraktikkan
Contohnya adalah teknik spamming yang sudah tidak membawa manfaat bagi user, malah memperlambat kerja search engine karena harus memilih URL mana yang harus di-index dan di-crawl.
Hal ini menyulitkan pemilik website yang punya konten yang betul-betul berguna buat user, karena tidak bisa membuat kontennya ter-index di SERP secepat dulu lagi.
SEO sejatinya adalah membantu manusia dan mesin, bukan sekedar teknik untuk mengakali algoritma search engine hanya demi ranking yang tinggi sesaat, tapi sebenarnya merusak untuk jangka panjang. Setuju?
—
source: https://www.seroundtable.com/why-google-does-not-crawl-index-every-url-33117.html
25 Comments
hmmmm, bagus sih tapi sangat saya sayangkan untuk menuduh SEO spammer sebagai penyebabnya. SEO spammer ini juga memiliki tujuan untuk “melihatkan produk mereka” dan mencari penghidupan dari jalan tersebut.
Tujuannya nggak ada yang salah sih bro, semua orang juga pengen mencari penghidupan. Tapi bagaimana dengan proses/cara yang sampai mengganggu penghidupan orang lain juga?
Setuju sama mas di atas. Gak bisa serta merta menyalahkan spammers-spammers itu gitu aja. Google-nya memang harusnya ngebuka algoritma mereka ke publik sih biar kompetisi SEO bisa dilakukan secara objektif bukan subjektifnya Google aja yang menentukan mana yang naik mana yg dicrawl aja ogah.
Google tidak subjektif kok, dan mereka sudah kasih panduannya seperti apa website yang berkualitas dan sesuai dengan kriteria mereka, dan ini sudah objektif sekali: https://developers.google.com/search/docs/advanced/guidelines/webmaster-guidelines
Dan kalau subjektif, menurut saya ya itu haknya Google. Kalau kita mau dapat traffic yang sustainable dari Google Search, ya kita harus ngikutin mereka dong.
Mengatakan kalau Google itu objektif agaknya kurang tepat, mas. Ada banyak menurut saya yang sudah mengikuti panduan yang sudah diberikan oleh Google, tetapi masih nggak dapat visility yang bagus di Google. Boro-boro visibility bagus, diindex aja nggak. Padahal sudah sesuai guideline banget. Nah, ini artinya apa? artinya mau ngikuti guideline senurut apapun, ujung-ujungnya tetep ke-subjektifitasan Google untuk milih siapa-siapa yang muncul.
Ini baru dari hal teknis aja sudah gak subjektif.
Gimana dengan situs yang membahas tentang YMYL? Google sama sekali gak ngasih ruang buat sumber alternative ngasih suara di search result.
Kalo kita mau bahas tentang niche politik di US itu jauh lebih parah lagi. Aku kurang setuju kalo mas nyatakan kalo Google itu objektif dalam menentukan ranking di search result.
Saya nggak ada maksud membela Google mati-matian ya, saya cuma punya prinsip, “kalo kita berharap traffic dari Google, ya ikuti peraturan, jangan malah melakukan hal-hal yang melanggar peraturan”.
Kalau ikut peraturan aja belum tentu bisa dapet traffic, apalagi kalau melanggar peraturan? Begitulah hidup om bro, memang tidak selalu berjalan dengan keinginan kita 🙂
Pada akhirnya, boleh ya kita agree to disagree.
Saya menemukan artikel ini di tengah-tengah pencarian saya, “Kenapa kok sekarang index google agak beda ya?” ternyata memang algoritmanya sudah berbeda. Impact nya kesemua pemilik situs jadi butuh beberapa hari untuk terindex.
Sependapat mas, saya masih inget dulu awal sekitar th 2015 an, artikel 100, 200 an kata submit gsc ga sampai 5 menit dah terindex kadang malah dah sampai halaman 1 dan dapat traffic, berbeda banget dengan sekarang, artikel bagus 1000an kata lebih ga kunjung ke index,
kira kira ada saran selain produksi konten dengan kualitas yang baik, rutin update, struktur tampilan yang ramah seo, dan menunggu di index oleh google apa ga ya mas?
kalau untuk blog pribadi mungkin bisa sabar menunggu tapi kalau untuk jasa seo, terlebih yang bekerja sebagai karyawan atasan seringnya tidak mau tahu proses yang ada penginnya terindex teranking dan dapat traffic, apa lagi website yang baru saja di buat
kira kira untuk website baru apakah masih ada peluang di era seperti ini kalau menggunakan seo dengan anggaran yang minimum, apakah yang bisa bertahan hanya website website besar dengan dukungan dana yang banyak?
selain itu apakah faktor server berpengaruh? saya pernah handel klien dengan shared hosting dengan konten yang saya rasa sudah cukup baik, untuk indexnya lama sampai hitungan bulan baru terindex, beberapa waktu berlalu saya juga pernah handel website dedicated server 1 website di dalamnya dengan konten yang biasa saja bisa terindex dalam hitungan jam
jadi apa saja saran terbaik untuk saat ini bila mempunyai anggaran yang lebih terbatas? terima kasih
urusan server bisa jadi pengaruh. Bisa dilihat case study-nya di sini: https://www.dailyseo.id/on-page/technical/status-discovered-currently-not-indexed-bisa-bertahan-selamanya/
faktor lainnya masih tidak diketahui, karena walaupun kita udah ngikutin best practice Google, urusan ini bener2 udah jadi hak prerogatifnya Google.
Menurut anda kira-kira artikel berapa kata ya biar bisa di crawl oleh google?
Saya hitungan hari sih di index. Kayaknya status DA berpengaruh terhadap kecepatan index.
artikel yang bagusnya kayanya di atas 800 kata
Aku ngga tentu sih, kadang cepet banget, kadang agak lama, kadang lama bnget smpai capek…
Terimakasih atas informasinya, saya baru mendalami SEO dan ternyata apa yang saya lakukan selama ini tidaklah baik. Btw kan saya memiliki website dummy dan didalam website tersebut tentunya original konten saya sendiri. Apakah itu aman untuk menaru backlink di dalam konten tersebut?
Terimakasih.
Google menganggap Link scheme itu melanggar pedomannya, bisa berdampak negatif terhadap website di SERP. Lebih baik dihindari mas.
Jika google terus seperti ini tentu akan merugikan kita. Hanya menunggu index yang tidak jelas waktunya. Sudah sebulan tidak ada kejelasan dari index ini. Dan sebaiknya kita perlu memboikot google dan pindah ke mesin pencarian lain… Tidak ada kejelasan juga apa yang harus dilakukan.
Index itu soal websitenya, web baru dengan PA DA rendah ya sabar aja
Sekarang intinya PA DA tinggi, rajin update, spam score rendah
udah membuktikan sendiri, bermain baik dengan konten dan kualitas on page tidak akan banyak menolong, karena era 2018-2020 banyak pakar SEO mengajarkan strategi onpage 100%, yang akhirnya muncul web-web baru tanpa DA bisa muncul di page 1 karena kualitas kontennya
2021 Google berubah
karena Google Rugi ! karena harapan mereka web baru itu beriklan pake G ads, tapi dengan mudahnya naik di page 1 hanya dengan kualitas web (page speed, mobile, friendly, dan konten). web baru tanpa DA ga dimasukan penilaian crawl
akhirnya web baru berpikir bagaimana menaikan PA DA, dengan backlink, tapi situ backlink umumnya punya spam score tinggi (sulit index) backlink tidak terindek, web baru terhambat naik DA nya
Expired / aged domain gimana? mau di index? cek data ga rajin update, DA tinggi tetap minggir dulu
Sulit masuk Page One, Google Says, “web baru ya? udah ikan SEM aja ahahahaha
Blog baru butuh berapa lama yh buat di index google
Pingback: Domain Murah & Gratis Kurang Bagus untuk SEO: Sitemap/Peta Situs Tidak Bisa Diakses Google - DailySEO ID
Pingback: 9 Tips Menulis Judul Artikel yang Menarik untuk Diklik User - DailySEO ID
Pingback: 3 Ciri SEO Agency/Jasa/Pakar SEO yang Jangan Dipilih, Hati-hati Resikonya! - DailySEO ID
Makin kesini makin sulit untuk mengindeks cepat blog yang baru, artikel saya 2 hari baru keindeks.. tapi kalau update konten rutin kayaknya indeksnya cepet
Dengan adanya ChatGpt para spammer jadi merajalela buat bikin artikel tak terbatas, makin pusing kalau gada modal buat sewa content writer
Blog expired domain kayak punya saya, brapa lama baru ke index itu ya?
kalau saya pribadi menggunakan domain aged menjadi salah satu solusi untuk meningkatkan peringkat di google. memang sampai saat ini, terlalu banyak website phising untuk spam keyword sehingga mesin pencari seperti google terus melakukan pembenahan dari query yang ditampilkan. untuk indexing keyword juga lebih lama.
pantesan artikel saya sudah 50an, yang masuk index baru 5 artikelan cekndi google search nya. atau ada pemgaruh dari domain juga ga bang?? saya pakai domain my.id …