Crawl error (kesalahan perayapan) adalah kondisi di mana search engine bot tidak dapat merayapi website Anda.
Ingin tahu apa saja potensi penyebabnya hingga cara mengatasinya?
Silakan teman-teman DailySEO ID baca artikel ini hingga selesai!
Daftar Isi
Apa itu Crawl Error?
Seperti yang sudah disinggung di awal, crawl error adalah kondisi di mana search engine bot seperti dari Google dan Bing tidak dapat mengarungi website maupun isi halaman web Anda.
Jika error ini terjadi, artinya search engine tidak akan mengindeks halaman tersebut dan pada akhirnya tidak akan ditampilkan di SERP (Search Engine Results Page).
Tentu hal ini akan menjadi dampak negatif yang merugikan performa SEO website teman-teman.
Bagaimana Cara Menemukan Crawl Error?
Untuk menemukan kesalahan perayapan ini, teman-teman bisa menggunakan tool gratis yang diberikan oleh Google, yaitu Google Search Console (GSC).
Langkah-langkahnya sebagai berikut:
Menemukan Crawl Error di GSC
Pertama-tama, silakan Anda login ke akun GSC Anda.
Kedua, setelah masuk, tema-teman bisa klik menu “Pages” di bilang “Indexing”.
Setelah itu, teman-teman akan mendapati tampilan report seperti ini:
Dan seperti ini tampilan bagannya:
Beberapa penyebab yang biasanya tampil di GSC antara lain:
- Soft 404
- Not found (404)
- Page with redirect
- Alternate page with proper canonical tag
- Exclude by ‘noindex’ tag
- Blocked due to access forbidden (403)
- Duplicate without user-selected canonical
- Server error (5xx)
- Blocked by robots.txt
- Blocked due to other 4xx issue
- Crawled – currently not indexed
Cukup banyak ya?
Jika teman-teman DailySEO ID baru saja memulai GSC dan masih sangat awam, silakan baca ulasan tentang panduan GSC berikut ini:
Panduan Memulai Google Search Console
Selain di GSC, Anda juga bisa menggunakan tool SEO lainnya seperti Semrush atau Ahrefs.
Masing-masing tool pasti memiliki dokumentasi atau panduan resminya, disesuaikan saja dengan tool yang Anda gunakan.
Potensi Penyebab Crawl Error dan Tips Mengatasinya
Secara umum, masalah kesalahan error terjadi karena dua hal, yaitu:
- Site error
- URL error
Berikut penjabaran selengkapnya:
Site Error
Site error (masalah situs) sering kali menjadi penyebab gagalnya search engine dalam mengakses website teman-teman.
Tidak hanya satu atau dua halaman saja, bahkan lebih, sehingga berpotensi membuat ranking turun bahkan hilang total dari SERP.
Site error ini, jika dikupas lebih dalam lagi akan muncul tiga kendala utamanya, yaitu:
- Server error – Suatu kesalahan yang terjadi di sisi server seperti 500 Internal Server Error, 502 Bad Gateway, 503 Service Unavailable, hingga 504 Gateway Timeout.
- DNS error – Merupakan kesalahan yang terjadi dari aspek DNS (Domain Name System). Contohnya seperti: DNS Timeout dan DNS Lookup.
- Robots.txt error – Kesalahan yang didapati di dalam file robots.txt, seperti salah penulisan syntax, hingga secara tidak sengaja memblokir search engine bot.
Lalu, cara mengatasinya bagaimana?
Teman-teman bisa identifikasi terlebih dahulu penyebab utamanya, apakah dari sisi server, DNS, atau file robots.txt.
Setelah itu, barulah kita akan tahu mengenai langkah perbaikan selanjutnya.
Jika masalah terjadi di server, maka Anda bisa fokus memperbaikinya aspek server. Jika tidak terlalu paham, teman-teman bisa meminta bantuan dari tim IT developer.
Begitu pula ketika mendapati kendala di DNS dan file robots.txt.
Anda bisa pelajari tentang robots.txt di artikel berikut:
Mengenal Robots.txt dan Perannya untuk Website
URL Error
URL error (masalah URL) seperti 404 Not Found biasanya hanya memengaruhi halaman yang spesifik, berbeda dengan server error yang memengaruhi keseluruhan website.
Yang umum terjadi antara lain:
- 404 Not Found – Terjadi ketika URL yang diakses search engine bot tidak/gagal ditemukan. Untuk mengatasinya, pastikan teman-teman menyematkan internal link yang benar-benar dapat diakses, baik oleh bot maupun user.
- Soft 404 – Mirip dengan 404, tapi ada embel-embel soft-nya. Ini terjadi ketika halaman web tidak/gagal ditemukan tetapi tidak mengembalikan status code 404, sering kali terjadi karena konten yang kurang berkualitas, relevan, hingga duplicate content. Cara mengatasinya adalah dengan membuat HTTPS status code 404 atau memperbaiki kontennya.
- 403 Forbidden – Masalah yang terjadi ketika server memahami permintaan tetapi aksesnya ditolak. Beberapa kemungkinan penyebabnya adalah kesalahan konfigurasi file permissions, pembatasan IP, atau pengaturan keamanan. Cara mengatasinya bisa dengan memperbarui konfigurasi file permissions, tidak membatasi IP, hingga “melonggarkan” pengaturan keamanan untuk search engine bot yang ditargetkan.
- Redirect error – Contohnya seperti redirect loop yang terjadi ketika sebuah URL mengarah ke URL lain berulang kali tanpa ada ujungnya. Untuk mengatasinya, Anda bisa menyederhanakan redirect-nya menjadi 1 kali saja (tidak berlebihan dan tidak berulang-ulang).
Penutup
SEO (Search Engine Optimization) itu bukan hanya tentang konten tulisan saja, tapi juga ada aspek lainnya seperti search engine bot crawling yang masuk ke ranah technical SEO.
Jika proses crawling saja sudah buruk, bagaimana website Anda akan diindeks, lalu jika tidak diindeks, bagaimana website Anda akan di-serving di SERP?
Jadi, rajin-rajinlah untuk membuka GSC atau SEO tool lainnya, kemudian amati, apakah ada kendala crawling atau tidak.
Jangan biarkan berlarut-larut atau bertambah banyak, karena hal itu hanya akan membuat pekerjaan Anda sebagai SEO Specialist semakin menumpuk dan berat.
Demikianlah tulisan mengenai pengertian crawl error, cara menemukan, hingga tips mengatasinya ini, jika teman-teman memiliki pertanyaan silakan tuliskan di kolom komentar di bawah atau bisa gabung ke grup Telegram DailySEO ID di sini.
Teman-teman juga bisa ajukan topik selanjutnya untuk kami bahas! Jika ingin belajar SEO dari ahlinya, yuk belajar di course-nya DailySEO ID!
Referensi:
