Log file mungkin merupakan sesuatu yang masih asing terutama bagi teman-teman praktisi SEO yang tidak—atau jarang—menangani aspek teknis.
Tapi tahukah teman-teman bahwa kita bisa tahu bagaimana search engine melakukan crawling pada website teman-teman dengan menjalankan analisis log file (log file analysis)?
Analisis log file merupakan sebuah teknik dalam disiplin ilmu SEO yang digunakan untuk memahami bagaimana Googlebot atau web crawler lainnya berinteraksi dengan website.
Informasi yang didapatkan dari menjalankan teknik ini nantinya dapat digunakan untuk melakukan pengoptimasian lebih lanjut atau menyelesaikan masalah yang berhubungan dengan proses crawling dan indexing dari website teman-teman.
Simak pembahasan di artikel ini untuk mempelajari bagaimana cara menjalankan analisis log file, dan mengapa hal ini penting untuk teman-teman lakukan.
Daftar Isi
Apa Itu Log File?
Dalam konteks website, log file adalah suatu file yang merekam data mengenai siapa saja, umumnya disebut Client, yang mengakses website teman-teman dan file/konten apa saja yang mereka akses.
Client yang dimaksud bisa merupakan search engine bot, seperti Googlebot atau Bingbot, atau seseorang yang masuk ke website teman-teman.
Data log ini akan tersimpan di server web dan biasanya hanya tersedia untuk periode waktu tertentu.
Data Apa Saja yang Tersedia di Dalam Log File?
Di dalam sebuah log file, teman-teman akan menemukan kumpulan baris seperti di bawah ini:
27.300.14.1 – – [08/Dec/2022:17:10:07 -0400] “GET https://webexample.com/example1/ HTTP/1.1” 200 “https://webexample.com” “Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)”
Setiap baris tersebut merepresentasikan permintaan akses yang dilakukan oleh client, dan mengandung beragam informasi mengenai client tersebut dan konten yang mereka akses, termasuk:
- IP address dari client
- Tanggal dan waktu dilakukannya permintaan akses oleh client
- Metode yang digunakan untuk mengakses website, baik GET ataupun POST
- URL yang diminta akses oleh client
- Status code dari halaman web yang diminta akses atau client
- User Agent yang mengandung informasi tambahan mengenai client yang melakukan permintaan akses (misalnya browser dan jenis device yang digunakan untuk mengakses). User Agent Google selalu bernama
Googlebot
Pada beberapa hosting, teman-teman juga mungkin akan menemukan informasi lain seperti:
- Nama host
- Server IP
- Jumlah bytes yang diunduh
- Waktu yang diperlukan untuk meminta akses
Bagaimana Cara Mengakses Log File?
Karena log file tersimpan dalam server web, maka untuk membukannya teman-teman perlu mengakses server teman-teman terlebih dahulu.
Hal ini bisa teman-teman lakukan dengan berbagai metode, misalnya dengan menggunakan control panel dari hosting provider yang teman-teman gunakan, atau menggunakan FTP (File Transfer Protocol).
Jika belum familiar dengan cara mengakses server web atau tidak memiliki akses, teman-teman mungkin bisa meminta bantuan tim IT atau developer teman-teman untuk mengambil salinan log file yang nantinya bisa teman-teman gunakan untuk analisis.
Kegunaan Analisis Log File untuk SEO
Dari segi SEO, analisis log file dapat teman-teman gunakan untuk berbagai macam tujuan.
Namun secara garis besar, tujuan utama dari melakukan analisis log file bagi SEO adalah untuk memastikan proses crawling oleh search engine pada website teman-teman berjalan dengan baik dan seefisien mungkin.
Sebagai contoh kasus, lewat data log teman-teman bisa mengidentifikasi halaman atau section web yang masih berhasil di-crawl oleh search engine bot, namun sebetulnya tidak perlu. Hal ini kemudian bisa teman-teman cegah mem-block halaman tersebut lewat robots.txt.
Analisis log file juga sering digunakan untuk memantau status code HTTP dari halaman web, yang tentunya akan memengaruhi proses rendering, indexing, dan ranking halaman web tersebut.
Kemampuan melakukan analisis log file ini penting dimiliki praktisi SEO profesional yang bertanggungjawab akan website dengan puluhan ribu URL lebih.
Bagaimana Cara Melakukan Analisis Log File?
Untuk mulai melakukan analisis, teman-teman perlu mengolah dan mempersiapkan data log terlebih dahulu agar proses analisis dapat dilakukan dengan lebih mudah. Beberapa persiapan yang perlu teman-teman lakukan yaitu:
- Menarik atau mengumpulkan data log yang Anda perlukan untuk periode waktu tertentu—biasanya, data yang dibutuhkan hanyalah data dari search engine crawler.
- Melakukan data cleaning dengan mengubah data log menjadi format yang lebih mudah dibaca untuk keperluan analisis, misalnya dalam bentuk spreadsheet. Agar lebih mudah, teman-teman juga bisa menggunakan tool khusus analisis log file seperti Screaming Frog Log File Analyser.
- Melakukan pengelompokkan dan visualisasi data agar lebih mudah dalam mengidentifikasi masalah dan peluang optimasi.
Setelah data tersedia dengan rapi, teman-teman tentu juga perlu mengetahui informasi apa saja yang ingin teman-teman dapatkan dari data tersebut.
Sebagai permulaan, berikut beberapa aspek yang bisa teman-teman cari tahu dan perhatikan saat melakukan analisis log file.
Status Code
Teman-teman bisa mengelompokkan data log yang telah dikumpulkan berdasarkan status code dari setiap halaman yang diakses. Sebagai contoh, teman-teman bisa membuat pivot table seperti di bawah ini:
Status Code | Total Log Request | % Total Log Request |
200 | 3,772 | 82.40% |
301 | 719 | 15.70% |
500 | 37 | 0.80% |
404 | 41 | 0.90% |
302 | 9 | 0.20% |
Dari pengelompokkan tersebut, teman-teman nantinya dapat mengetahui beberapa hal:
- Berapa banyak crawl request yang dihabiskan search engine untuk mengakses halaman yang tidak bisa dibuka (status code-nya 500 & 404), untuk dicek agar bisa diakses lagi
- Berapa banyak redirection (status code 301 & 302) yang terjadi, agar kita bisa mengurangi redirection yang tidak efisien
Indexability
Selain menganalisis status code halaman, teman-teman juga bisa menggunakan data log untuk mengetahui perbandingan halaman yang indexable dan non–indexable yang diakses oleh search engine.
Halaman web dengan tag noindex masih dapat di-crawl oleh search engine, tetapi tidak akan di-index. Namun, memiliki terlalu banyak halaman noindex juga sebetulnya kurang baik karena akan mengurangi efisiensi crawl budget teman-teman.
Sebagai solusinya, teman-teman bisa mem-block halaman atau kategori halaman yang tidak perlu di-crawl di robots.txt.
Halaman yang Paling Banyak dan yang Paling Sedikit Di-Crawl
Data log juga bisa teman-teman gunakan untuk mengetahui halaman web apa yang paling sering diakses oleh search engine, dan juga sebaliknya.
Informasi ini penting untuk memastikan apakah halaman penting pada website teman-teman telah di-crawl dengan baik oleh search engine.
Crawl Depth
Dengan menggabungkan data log file dan data terkait struktur web, teman-teman juga bisa mendapatkan informasi mengenai seberapa dalam search engine bot men-crawl website teman-teman.
Level | Total Log Request | % Total Log Request |
1 | 442 | 7.04% |
2 | 3,245 | 51.69% |
3 | 2367 | 37.70% |
4 | 224 | 3.57% |
Informasi ini bisa teman-teman manfaat kemudian untuk mengoptimasi taksonomi website teman-teman, sehingga search engine dapat men-crawl website teman-teman dengan lebih mudah.
Misalnya, data log teman-teman menunjukkan bahwa halaman web dengan crawl depth tertentu akan jarang dikunjungi oleh search engine crawler.
Maka optimasi yang bisa teman-teman lakukan adalah dengan memperbaiki struktur website teman-teman atau menambahkan internal link untuk beberapa halaman yang penting.
Bot Desktop vs Mobile
Pada data log file juga tersedia informasi mengenai apakah halaman web diakses oleh bot mobile ataupun bot desktop.
Dari data ini, teman-teman bisa membandingkan antara jumlah halaman yang diakses oleh bot mobile dan bot desktop.
Perhatikan juga apakah ada kategori atau section web tertentu yang sebagian besar diakses oleh bot desktop.
Jika ada, teman-teman dapat melakukan analisis lebih lanjut untuk mencari tahu mengapa search engine lebih memilih menggunakan bot desktop dibandingkan dengan mobile–first bot untuk mengakses section halaman tersebut.
Penutup
Itulah tadi pembahasan singkat mengenai analisis log file serta cara menjalankannya.
Beberapa ide di atas bisa teman-teman gunakan untuk mulai menjalankan analis log file dari website teman-teman.
Namun sebetulnya, masih banyak aspek atau informasi yang bisa teman-teman gali lebih dalam dari data log file yang teman-teman miliki.
Misalnya saja, data log file bisa juga teman-teman gunakan untuk untuk memantau perubahan pola search engine bot dalam men-crawl website teman-teman seiring waktu, atau juga untuk menemukan orphan page.
Semoga informasinya bermanfaat!
___________
Ayo bergabung di grup Telegram DailySEO ID untuk dapat berdiskusi tentang topik seputar SEO dengan praktisi SEO lainnya!
Saat ini, DailySEO ID juga memiliki series webinar dengan materi SEO ter-update untuk teman-teman yang tertarik belajar SEO langsung dari founder DailySEO ID, Ilman Akbar.
Jika tertarik, teman-teman bisa langsung mendaftarkan diri untuk ikut series webinar selanjutnya di sini ya!
Sumber:
- https://www.searchenginejournal.com/seo-log-file-analysis-guide/419660/
- https://www.botify.com/learn/basics/log-file-analysis
- https://www.semrush.com/blog/log-file-analysis/
2 Comments
yang sering terjadi adalah ketika kita menggunakan templete gratisan, misalnya punya evanto, nah sdh ada HTML no index, nah bagaimana ya cara memperbaiki ?? thx
Kalo udah ada noindex, tinggal di-remove aja kodenya manual, ya ga?