Gergasi raksasa infrastruktur Web telah melancarkan kemas kini utama ke dalam buku panduan tiga dekade Internet untuk crawler web.
Penerbit dan syarikat AI, menangani kebimbangan yang meluas terhadap data yang tidak dikompensasi yang mengancam model ekonomi web terbuka.
Konflik itu bukan hanya undang-undang tetapi teknikal. Banyak firma AI telah dituduh mengabaikan `robots.txt` sama sekali. Cloudflare sendiri baru-baru ini menuduh kebingungan AI menggunakan”crawler stealth”untuk memintas blok penerbit, kebingungan tuntutan dengan tegas ditolak. Pertikaian ini menggariskan kekurangan sistem kehormatan lama.
Bagaimana dasar isyarat kandungan baru berfungsi
Polisi Isyarat Kandungan CloudFlare cuba memodenkan sistem ini dengan menambahkan lapisan kekhususan baru. Ia berfungsi dengan mengintegrasikan kedua-dua komen yang boleh dibaca manusia dan arahan yang boleh dibaca mesin baru terus ke dalam fail `robots.txt` tapak.
Matlamatnya adalah untuk mewujudkan standard yang tidak jelas untuk bagaimana crawler boleh menggunakan kandungan selepas mengaksesnya, perbezaan protokol asal yang tidak pernah dibuat. Dasar ini memperkenalkan tiga isyarat yang berbeza.
Isyarat `carian` membolehkan kandungan digunakan untuk membina indeks carian tradisional, termasuk hiperpautan dan petikan pendek, tetapi secara eksplisit tidak termasuk ringkasan AI yang dihasilkan. Isyarat `ai-input` mengawal penggunaan masa nyata dalam jawapan AI generatif, seperti generasi pengambilan semula (RAG). Akhirnya, isyarat `AI-Train` mengawal sama ada kandungan boleh digunakan untuk melatih atau menapis model AI. Pengendali laman web boleh menyatakan keutamaan mereka dengan baris yang mudah, koma-delimit, seperti `kandungan-isyarat: carian=ya, AI-train=no`.
Kebenaran”Ya”, sementara”tidak”melarangnya. Secara penting, jika isyarat ditinggalkan, polisi menyatakan bahawa pemilik laman web Tidak ada geran atau menyekat kebenaran , meninggalkan pilihan neutral. Untuk menggalakkan pengangkatan, CloudFlare telah mengeluarkan polisi di bawah lesen CC0 dan menyediakan alat penjana di contentSignals.org Arahan Hak Cipta. `ai-kereta api=no`. Syarikat itu sengaja meninggalkan isyarat `ai-input` neutral dalam pelancaran ini, menyatakan ia tidak mahu meneka keutamaan pelanggannya untuk kes penggunaan khusus itu. Langkah ini dengan berkesan mewujudkan pemilihan besar-besaran, skala web untuk latihan AI secara lalai. Seperti protokol asal, isyarat kandungan adalah penasihat dan tidak boleh dikuatkuasakan secara teknikal.
Beberapa pelakon yang buruk hanya boleh mengabaikan peraturan baru. Inilah sebabnya mengapa Cloudflare membingkai dasar sebagai”tempahan hak,”mengukuhkan kedudukan undang-undang penerbit.
Inisiatif ini adalah yang terbaru dalam pertahanan yang semakin meningkat Cloudflare untuk penerbit. Syarikat itu sebelum ini melancarkan”AI Labyrinth,”alat untuk menjebak bot yang tidak patuh dalam kandungan palsu, dan sedang menguji”membayar per merangkak”untuk membiarkan laman web untuk akses.
Titik melekat utama tetap Google. Kesaksian semasa Landmark AS v. Percubaan Antitrust Google mendedahkan syarikat menggunakan sistem opt-out berasingan untuk produk carian terasnya dan model Gemini AI. Ciri-ciri AI Google dan risiko kehilangan trafik carian penting, atau membenarkan penggunaan kandungan di seluruh papan.
Sehingga pemain utama seperti Google sama ada menggunakan standard baru atau menawarkan kawalan yang lebih jelas, bersatu, penerbit akan terus ditangkap antara penglihatan dan kawalan, dan pertempuran untuk masa depan Web akan diteruskan.
