Bagi teman-teman pegiat SEO, tentunya sudah tidak asing lagi dengan tool SEO yang satu ini dan mungkin pernah menggunakannya di desktop Anda. Namun sudah tahukah Anda bahwa Screaming Frog juga bisa Anda jalankan di server cloud?
Menjalankan software Screaming Frog di komputer/laptop teman-teman untuk melakukan crawling website yang besar biasanya akan memperlambat dan ‘memonopoli’ koneksi internet Anda. Berita baiknya, hal ini sebetulnya bisa Anda hindari dengan menjalankan tool Screaming Frog lewat cloud!
Untuk mendapatkan informasi mengenai hal apa saja yang Anda butuhkan untuk menjalankan Screaming Frog di cloud beserta cara sederhananya, simak pembahasan di bawah ini.
Daftar Isi
Apa itu Screaming Frog?
Screaming Frog adalah tool website crawler yang memungkinkan Anda untuk menganalisis faktor on site SEO pada website Anda maupun website kompetitor. Screaming Frog akan melakukan crawling pada website teman-teman, untuk mensimulasikan proses crawling dari mesin pencari.
Sebagai tool SEO, penggunaan software Screaming Frog akan sangat membantu dalam menjalankan proses audit dari berbagai komponen SEO teknis pada website Anda, mulai dari analisis struktur URL, metadata, XML sitemap, review file robots.txt, menemukan broken link, dan masih banyak lagi.
Mengapa Perlu Menjalankan Screaming Frog di Cloud?
Screaming Frog merupakan desktop software yang artinya limitasi dalam menjalankannya akan sangat bergantung pada kapasitas local storage dari device Anda. Tool website crawling ini menawarkan dua opsi konfigurasi untuk penyimpanan data crawl website, yaitu Memory Storage dan Database Storage.
Secara default, tool website crawler ini akan menyimpan data crawling pada RAM Anda. Lewat konfigurasi ini Anda dapat melakukan crawling hingga 500 ribu URL. Jika ingin melakukan crawling URL dengan jumlah yang lebih banyak, tersedia opsi Database Storage—menggunakan SSD untuk menyimpan data crawl—yang sanggup menjalankan crawling sampai dengan 10 juta URL.
Namun pada beberapa kasus, Anda mungkin saja butuh untuk menjalankan audit pada website yang jumlah URL nya melebihi limitasi tersebut, misalnya saja untuk melakukan audit SEO pada website e–commerce.
Crawling website merupakan proses yang cukup membutuhkan banyak waktu, bahkan sampai hitungan hari—jika jumlah URL sampai jutaan. Tentunya akan sangat tidak efisien jika Anda harus menjalankan PC Anda selama berhari-hari hanya untuk melakukan crawling website.
Pada skenario ini lah Anda butuh menjalankan tool Screaming Frog di cloud! Dengan menjalankan Screaming Frog pada sistem cloud, Anda dapat melampaui batas storage pada device Anda sehingga bisa melakukan crawling URL sebanyak yang Anda mau, tanpa perlu menyalakan mesin Anda berhari-hari. Bahkan Anda juga bisa menjalankan lebih dari satu crawler sekaligus untuk mempercepat proses crawling.
Menjalankan Screaming Frog di cloud juga bisa Anda lakukan jika Anda ingin mengotomasi report audit website Anda lewat dashboard analitik seperti Google Data Studio. Dengan teknik ini, Anda bisa langsung mendapatkan laporan statistik hasil audit tanpa harus melakukan crawling dari awal.
Baca juga: 5 Daftar Indikator Performa Technical SEO dalam Google Search Console
Berapa Biaya yang Perlu Dikeluarkan?
Biaya yang perlu Anda keluarkan untuk menjalankan Screaming Frog di cloud akan sangat bergantung pada virtual machine (VM) yang Anda butuhkan dan website yang akan Anda crawl.
Skenario di bawah ini bisa menjadi gambaran atas biaya yang Anda perlukan serta kapasitas yang Anda dapatkan jika menjalankan Screaming menggunakan Google Compute Engine:
- Sebagai contoh, Anda menggunakan 8 virtual CPU, memori 32GB dan SSD 200GB.
- Dengan menggunakan virtual machine tersebut, Anda melakukan crawling sebanyak 3.1 juta URL menggunakan konfigurasi Data Storage, yang akan memakan waktu kurang lebih 2 hari.
- Untuk menjalankan crawl tersebut, Anda akan dikenakan biaya kurang lebih adalah $25 dari penggunaan Google Cloud Platform-Google menawarkan kredit gratis $300 untuk penggunaan awal.
Penting untuk diperhatikan bahwa Anda akan dikenakan biaya sesuai dengan penggunaan cloud service tersebut. Jika Anda perlu meng-crawl website yang lebih besar dengan waktu yang lebih singkat, Anda dapat dengan mudah meningkatkan skala instance VM dan ukuran SSD-nya.
Apa Saja yang Diperlukan untuk Menjalankan Screaming Frog di Cloud?
Terdapat beberapa teknik yang bisa Anda gunakan unntuk dapat menjalankan Screaming Frog pada sistem server cloud. Setiap teknik tersebut tentu memiliki kebutuhan dan pengaturan yang berbeda-beda. Yang kami lampirkan di bawah ini adalah panduan untuk menjalankan Screaming Frog pada Google Cloud Compute, karena cenderung mudah dan sederhana.
Seperti yang telah disinggung sebelumnya, besaran biaya yang dikenakan oleh Google Cloud Compute akan bergantung pada penggunannya. Semakin besar kapasitas yang Anda gunakan, maka akan semakin tinggi juga biaya yang dibutuhkan. Untuk itu, demi alasan efisiensi Anda dapat menjalankan VM untuk crawling, mengekspor data yang Anda butuhkan, lalu langsung menghentikannya agar terhindar dari biaya tambahan.
Namun, tentu Anda juga dapat menjalankan VM selama yang Anda butuhkan jika Anda ingin menyiapkan crawl dan ekspor dengan jadwal tertentu.
Untuk dapat melakukan ini, Anda hanya membutuhkan:
Setelah beberapa kebutuhan tersebut telah Anda siapkan, maka Anda dapat mulai mencoba menjalankan Screaming Frog pada Google Cloud lewat langkah sederhana di bawah ini:
- Membuat project di Google Cloud
- Membuat VM instance
- Menginstall Chrome Remote Desktop
- Menginstall Screming Frog SEO Sprider
- Memasukkan kode kredensial lisensi SEO Spider Anda
- Mengatur mode storage dan alokasi memori
- Mengimport konfigurasi SEO Sprider pada VM instance
- Mengekspor file dari VM instance
- Menghentikan VM instance
Penjelasan langkah menjalankan Sreaming Frog di Google Cloud yang lebih lengkap bisa Anda temukan di sini:
Solusi Crawler Tools Paling Murah Dibanding Tools Lainnya
Sebagian teman-teman praktisi SEO mungkin sudah familiar dengan tools SEO yang punya fitur website crawler atau site audit seperti Ahrefs, Semrush, Botify, atau Deepcrawl? Satu kesamaan dari semua tools tersebut adalah fitur website crawler-nya dijalankan secara cloud, bukan di komputer kita.
Penggunaan Screaming Frog lewat cloud menempatkannya apple to apple dengan tools SEO tersebut. Hal yang sangat nyaman dari menggunakan tools SEO di cloud adalah kita tidak perlu menyalakan komputer kita terus menerus untuk menunggu tools-nya menyelesaikan crawling dan audit website kita.
Tapi bagaimana perbandingan harganya?
Screaming Frog di Cloud:
- Lisensi $209 per tahun (dibulatkan jadi $17,5 per bulan)
- Biaya server Google Cloud Platform dengan spesifikasi di atas: $58 per bulan
- Total per bulan: $75,5
- Jumlah halaman yang bisa di-crawl per bulan: unlimited (tidak terbatas)
Ahrefs:
- Biaya subscription $399 per bulan untuk paket Advanced
- Jumlah halaman yang bisa di-crawl per bulan: 1,5 juta halaman
- Tentunya kita bayar jauh lebih mahal untuk fitur lainnya juga, bukan hanya untuk fitur crawling.
Botify & DeepCrawl
- Karena kedua tools ini ditujukan untuk enterprise, tidak ada daftar harga yang terlihat secara publik. Tapi kami tahu harganya mencapai ribuan dolar per tahunnya.
Sekilas melihatnya perbandingan tersebut, bisa dikatakan bahwa memanfaatkan Screaming Frog di cloud itu adalah solusi paling ekonomis, pastinya dikembalikan ke kebutuhan masing-masing.
Apabila keperluan Anda hanyalah melakukan crawling website untuk site audit, dengan website yang jumlah halaman sangat banyak (mencapai jutaan URL), menggunakan Screaming Frog di cloud adalah solusi terbaik. Tools lainnya dengan harga yang terlihat lebih mahal, tentu punya fitur tambahan yang tidak dimiliki Screaming Frog.
Penutup
Demikian pembahasan singkat penggunaan tool Screaming Frog lewat cloud. Menjalankan Screaming Frog di cloud tidak membutuhkan biaya yang besar. Hanya dengan ratusan ribu rupiah saja, Anda sudah bisa menjalankan crawl dengan jumlah URL sesuka hati Anda.
Namun, penting untuk diingat bahwa Anda akan terus dikenakan biaya selama proses crawling masih berjalan. Jadi, jangan lupa untuk langsung menghentikan crawl setelah Anda sudah mendapat data yang Anda inginkan.
Jika Anda memiliki kesulitan atau pertanyaan lanjutan tentang menjalankan Screaming Frog di cloud, Anda bisa bergabung dan mendiskusikannya di grup Telegram DailySEO! Di sana Anda bisa mendiskusikan lebih lanjut mengenai tool Screaming Frog untuk SEO atau topik relevan lain dengan pegiat SEO lainnya.
Sumber:
