Di era AI search, salah satu optimasi technical SEO website yang bisa dilakukan adalah melakukan allow pada AI crawler agar mereka bisa merayapi website dan halaman di website kita.
Pertanyaannya, apakah AI crawler ini bisa merayapi konten yang dipasang paywall (semacam harus bisa bayar atau berlangganan, baru bisa baca konten lengkapnya)?
Daftar Isi
Apa itu Paywall?
Paywall adalah sebuah metode untuk merestriksi atau membatasi akses ke suatu konten.
Praktek ini cukup lumrah di dunia media berita atau brand yang memakai konten premium sebagai cara monetisasi.
Jadi, konten dari website yang dipasangi paywall tidak bisa dibaca secara lengkap kecuali Anda mau membayarnya.
Contoh Situs yang Memakai Paywall
Situs jurnal ilmiah dengan artikel yang tidak open access adalah contoh situs yang memakai paywall.
Contohnya adalah:
Beberapa contoh situs di Indonesia yang memakai paywall adalah:
1. Kompas.id
2. pro.hukumonline.com
Apakah AI Crawler Bisa Merayapi Konten yang Dipasang Paywall?
Penulis mencoba untuk meminta ChatGPT untuk menjelaskan isi dari jurnal yang restricted access.
Hasilnya sebagai berikut:
Dari hasil ini, AI crawler tidak bisa merayapi konten yang dipasang paywall.
Jadi, mereka tidak bisa menjelaskan apa isi konten yang “dipagari” kecuali ada situs lain yang pernah menjelaskan isinya.
Untuk konteks jurnal ilmiah, terutama artikel lama dan banyak sitasi, peluangnya ada.
Namun, ini berbeda untuk kasus perusahaan dan komersial.
Implikasi AI Crawler Tidak bisa Merayapi Konten yang Dipasangi Paywall
Karena AI crawler tidak bisa merayapi konten yang dipasangi paywall, maka ada beberapa hal yang perlu dipikirkan:
- Situs siap untuk tidak mendapat AI citation, terutama pada halaman yang terdapat paywall.
- Tidak dapat AI citation, maka berpotensi brand awareness yang terlewat, apalagi penggunaan LLM (Large Language Model) semakin masif.
Perusahaan harus menimbang pro dan kontra dari metode paywall untuk monetisasi.
Klaim AI Crawler Bisa Melewati Konten yang Dipasangi Paywall
Menurut klaim di internet seperti di tech.slash, beberapa AI crawler bisa “menembus” paywall.
Namun, tentu praktek ini melanggar hukum dan etika karena paywall adalah konten berbayar.
Meski demikian, dari pengalaman penulis, AI crawler masih belum bisa merayapi konten yang dipasangi paywall.
Pikirkan Pro dan Kontra dari Metode Paywall
Metode paywall bermanfaat untuk monetisasi konten.
Untuk industri media, praktek ini lumrah untuk monetisasi dan “wajar” karena konten original seperti berita berawal dari mereka.
Yang menjadi perhatian adalah bagi perusahaan swasta.
Karena metode paywall memang bisa jadi cara monetisasi, tetapi bisa mengurangi brand awareness di AI generatif.
Pikirkan pro dan kontranya, kemudian diskusikan dengan atasan Anda terkait metode paywall.
Apabila teman-teman ada pertanyaan terkait tulisan ini, silakan tuliskan di kolom komentar di bawah atau bisa gabung ke grup Telegram DailySEO ID di sini.
Teman-teman juga bisa ajukan topik selanjutnya untuk kami bahas! Jika ingin belajar SEO dari ahlinya, yuk belajar di course-nya DailySEO ID!
Referensi:
https://journals.sagepub.com/doi/abs/10.1177/27551938251375863
