AI dan Crawlers: Siapa yang Beneran Baik dan Buruk?

Jadi, minggu ini kita bakal ngobrol tentang gimana AI sekarang bisa akses konten dari penerbit. Ini semua berawal dari perubahan yang dilakukan Cloudflare setahun lalu. Mereka mengubah cara crawlers beroperasi, dan hasilnya, dunia crawling jadi makin menarik. Ada yang disebut 'good bots' yang diakui, tapi di sisi lain, ada juga yang disebut gray scraping yang bikin banyak orang penasaran.

Cloudflare baru-baru ini meluncurkan aturan baru untuk crawlers campuran. Nah, ini adalah bot yang bisa dipakai untuk pencarian dasar dan juga untuk pelatihan AI. Mereka bilang, udah saatnya untuk mengakhiri 'free pass' buat bot-bot ini, soalnya bisa merugikan pemilik situs dan perusahaan AI yang lebih transparan. Jadi, mulai 15 September, mereka bakal membatasi penggunaan bot ini, terutama untuk halaman yang ada iklannya.

Kita juga harus ngomongin tentang ekonomi gray crawling yang masih mendominasi. Ini adalah area yang banyak orang nggak tahu, di mana bot-bot ini bisa mengakses konten tanpa izin. Meskipun ada aturan baru, tetap aja banyak yang melanggar. Ini bikin pemilik konten jadi bingung, soalnya mereka nggak bisa mengontrol siapa yang ngambil konten mereka.

Netflix juga baru aja bikin kesepakatan lisensi video dengan beberapa merek digital, seperti Variety dan Rolling Stone. Ini menunjukkan bahwa meskipun ada masalah dengan crawlers, masih ada cara untuk mendapatkan akses yang sah ke konten. Tapi, pertanyaannya, apakah ini cukup untuk melawan gray scraping? Kita lihat aja ke depannya.

Dengan semua perubahan ini, penting banget buat kita sebagai pengguna internet untuk paham gimana cara kerja crawlers. Jangan sampai kita jadi korban dari sistem yang nggak adil. Kita harus lebih kritis dan aware terhadap konten yang kita konsumsi dan bagaimana konten itu bisa diakses.

Jadi, apa sih yang bisa kita ambil dari semua ini? Pertama, penting buat kita untuk tahu tentang crawlers dan bagaimana mereka beroperasi. Kedua, kita harus dukung perusahaan yang transparan dan menghargai konten. Dan yang terakhir, kita harus terus belajar dan beradaptasi dengan perubahan teknologi yang cepat ini.