Raksasa keamanan Web Cloudflare menuduh perusahaan pencarian AI dengan raksasa menggunakan”crawler siluman”menipu untuk memotong aturan situs web dan mengikis konten. Dalam sebuah laporan Cloudflare menyatakan kebingungan menutupi botnya dengan identitas browser generik untuk mengabaikan blok penerbit.

Mengutip pelanggaran kepercayaan internet, Cloudflare telah menghilangkan kebingungan dari program bot yang diverifikasi dan sekarang secara aktif memblokir perilaku tersebut. Langkah ini menandai peningkatan besar dalam pertarungan antara perusahaan AI dan pencipta konten, menempatkan strategi pertumbuhan agresif kebingungan di bawah pengawasan yang intens.

Cloudflare menuduh kebingungan’siluman merangkak’

Investigasi CloudFlare, detail dalam a

href=”https://blog.cloudflare.com/perplexity-is-using-sealth-undeclared-crawlers-to-evade-website-no-crawl-sutrtives/”target=”_ blank”> Posting blog Agustus 4 , diminta oleh keluhan pelanggan. Pengguna ini melaporkan bahwa meskipun mengimplementasikan arahan `robots.txt` dan aturan firewall spesifik untuk memblokir perayap perampok yang dinyatakan secara resmi,` perplexitybot` dan `perplexity-user`, konten mereka masih diakses oleh layanan AI. src=”https://winbuzzer.com/wp-content/uploads/2025/05/perplexity-pro-labs.jpg”>

Perusahaan keamanan menuduh bahwa kebingungan menggunakan pendekatan dua bahasa. Ketika crawler yang dinyatakan diblokir, perusahaan tampaknya menggunakan bot yang tidak dideklarasikan yang menyamar sebagai browser web standar. Perayap siluman ini diamati berputar melalui alamat IP yang tidak terdaftar dan bahkan mengubah sistem otonom sumber mereka (ASNS) dalam apa yang digambarkan CloudFlare sebagai upaya yang disengaja untuk menyembunyikan aktivitas mereka dan menghindari preferensi penerbit.

Agen pengguna utama yang diidentifikasi dalam aktivitas siluman ini adalah Mozilla/5.0 (Macintosh; Macintosh; Mac-X OS X.11.1. (Khtml, seperti tokek) chrome/124.0.0.0 safari/537.36. String generik ini dirancang untuk berbaur dengan lalu lintas manusia normal dari perangkat MacOS menggunakan chrome, sehingga sulit untuk diblokir tanpa berpotensi mempengaruhi pengguna yang sah. Cloudflare berpendapat perilaku ini melanggar norma-norma merangkak web yang sudah mapan, seperti yang diuraikan dalam RFC 9309.

Untuk mengonfirmasi perilaku ini, tim Cloudflare melakukan percobaan yang terkontrol. Mereka mendaftarkan domain baru yang tidak diindeks yang tidak dapat ditemukan secara publik dan menempatkan file `robots.txt` yang sangat ketat di atasnya, melarang semua crawler. Terlepas dari tindakan pencegahan ini, ketika mereka menanyakan AI kebingungan tentang konten rahasia pada domain-domain ini, layanan ini memberikan ringkasan yang terperinci dan akurat, yang menunjukkan telah berhasil melewati blok-blok tersebut.

Penulis laporan itu, dengan kata-kata yang dikelilingi oleh Gabriel. Cloudflare mencatat bahwa kegiatan ini diamati di seluruh puluhan ribu domain, berjumlah jutaan permintaan per hari, dan menggunakan pembelajaran mesin untuk sidik jari dan melacak crawler yang mengelak.

Dalam laporannya, Cloudflare kontras dengan perilaku ini dengan Openai. Selama tes yang sama, crawler `chatgpt-user` Openai dengan benar mengambil file` robots.txt` dan berhenti aktivitas saat dilarang. It also respected network-level blocks, which Cloudflare described as the “appropriate response”for a well-behaved bot operator acting in good faith.

A Pattern of Controversy and Publisher Pushback

This is not the first time Perplexity has faced accusations of ignoring web standards, with the latest claims from Cloudflare echoing earlier incidents. Pada bulan Juni 2024, pengembang Robb Knight mendokumentasikan secara rinci bagaimana perusahaan AI mengikis situsnya, Radweb dan MacStories, meskipun ia menerapkan kedua aturan `robots.txt` dan blok tingkat server yang lebih ketat menggunakan Nginx. Knight menemukan bot tidak menggunakan pengidentifikasi yang dinyatakan, melainkan agen pengguna generik untuk memotong pertahanannya.

Praktik perusahaan juga telah menarik ancaman hukum dari organisasi media besar. Pada bulan Juni 2025, BBC mengancam tindakan hukum atas pelanggaran hak cipta dan kerugian reputasi, dengan tuduhan kebingungan mereproduksi jurnalismenya dengan kata demi kata. Kebingungan mengeluarkan bantahan yang tajam, menyebut klaim itu”manipulatif”dan menuduh penyiar berusaha melindungi dominasi pasar Google. Ini bergabung dengan daftar tantangan hukum yang terus meningkat dari penerbit seperti New York Times dan News Corp.

Konflik ini terungkap dengan latar belakang apa yang dilihat banyak penerbit sebagai krisis. CEO Cloudflare, Matthew Prince, telah menyebut penurunan lalu lintas rujukan dari pencarian AI sebagai”ancaman eksistensial,”mengungkapkan bahwa rasio halaman yang dikikis oleh AI antropik terhadap pengunjung yang dikirim kembali dengan 60.000-ke-satu. Sentimen ini digaungkan oleh CEO News/Media Alliance Danielle Coffey, yang menyatakan, “Tautan adalah kualitas penebusan terakhir pencarian yang memberi penerbit lalu lintas dan pendapatan. Sekarang Google hanya mengambil konten dengan paksa dan menggunakannya tanpa pengembalian.”

Ini di seluruh industri ini. RACE ARMS. Sebelum aksi terbarunya melawan kebingungan, perusahaan telah mengerahkan penanggulangan canggih. Ini termasuk”AI Labyrinth,”alat penipuan yang menjebak bot yang tidak patuh dalam labirin konten palsu untuk membuang sumber dayanya, dan”membayar per merangkak,”sistem yang memungkinkan situs untuk mendapatkan akses dengan menghidupkan kembali HTTP 402 yang diperlukan untuk mereka. Kode Status yang Diperlukan. Mengabaikan gagasan bahwa perusahaan AI terlalu kuat untuk dihentikan, dia dengan terkenal menyindir,”Dan Anda memberi tahu saya, saya tidak dapat menghentikan beberapa kutu buku dengan korporasi C di Palo Alto?”

narasi ganda: Pertumbuhan ledakan di tengah-tengah pemutaran etis

Kontras yang kontras dengan tupa-ledakan dengan tupa-ledakan. Penilaian startup dilaporkan melonjak menjadi $ 18 miliar pada Juli 2025, lompatan besar dari angka awal 2024. Pertumbuhan ini didorong oleh strategi ekspansi yang agresif.

Perplexity telah meluncurkan serangkaian produk premium, termasuk berlangganan”maks”$ 200/bulan dan browser AI”komet”sendiri. CEO Aravind Srinivas berjanji pada Comet akan memberikan”perbaikan penelusuran inti yang tidak dikirim Chrome selama berabad-abad,”membingkainya sebagai”mitra pemikiran”untuk pengguna.

Perusahaan juga melakukan penawaran akuisisi pengguna besar-besaran. Kemitraan baru-baru ini dengan raksasa telekomunikasi India Airtel akan menawarkan tahun gratis dari Perplexity Pro kepada 360 juta pelanggan, langkah berani untuk menangkap pasar utama. Ini mengikuti kesepakatan serupa dengan Motorola, meskipun itu dibatasi oleh kontrak antimonopoli Google.

Namun, ekspansi cepat ini disertai dengan masalah lain. Audit keamanan April 2025 oleh AppkNox menandai”kerentanan kritis”dalam aplikasi Android Perplexity.

Perang yang lebih luas atas masa depan web

Bentrokan antara CloudFlare dan Perplexity menyoroti ketegangan mendasar di AI ERA. Pengembang AI memerlukan sejumlah besar data untuk melatih model mereka, sementara penerbit melihat konten mereka digunakan untuk menyalakan layanan yang mengkanibal lalu lintas dan pendapatan mereka.

Ini telah menyebabkan patah”menuntut beberapa, menandatangani strategi orang lain”di industri media. Sementara New York Times menggugat Openai, secara bersamaan menandatangani kesepakatan lisensi konten utama dengan Amazon. 

Situasi kebingungan merangkum perjuangan di seluruh industri ini. Secara bersamaan adalah inovator terkenal yang mendorong batas-batas pencarian AI dan aktor kontroversial yang dituduh melanggar protokol web yang sudah lama ada. Hasil dari ini dan konflik serupa kemungkinan akan menentukan aturan untuk generasi internet berikutnya.

Categories: IT Info