Web infrastruktúra-óriás A CloudFlare jelentős frissítést indított az internet három évtizedes régi szabálykönyvében a webes bejárók számára. A kiadók és az AI társaságok, a kompenzált adatokkal kapcsolatos széles körű aggodalmak kezelése, amelyek veszélyeztetik a nyitott webes gazdasági modellt. A domainek, jelezve az AI-adatokkal kapcsolatos folyamatban lévő csatában való jelentős változást. Először 1994-ben javasolták a „robots.txt”-et, hogy megakadályozzák a szerver túlterhelését azáltal, hogy elmondták a rugóknak, melyik oldalt kell elkerülni. rés. Az AI vállalatoknak hatalmas adataira van szükségük a modellek kiképzéséhez, és az Open Web az elsődleges forrássá vált. A News/Media Alliance vezérigazgatója, Danielle Coffey nemrégiben megragadta az iparág csalódását, kijelentve: „A linkek voltak a keresés legutóbbi visszaváltási minősége, amely forgalmat és bevételt adott a kiadóknak.
A konfliktus nem csak törvényes, hanem technikai is. Számos AI céget azzal vádoltak, hogy teljesen figyelmen kívül hagyta a `robots.txt”-et. Maga a CloudFlare a közelmúltban azzal vádolta az AI-t, hogy a „lopakodó robotok” használatát a kiadói blokkok megkerülésére használták, ezt az igényt zavaróan tagadták. Ezek a viták hangsúlyozzák a régi becsületrendszer elégtelenségét. Úgy működik, hogy mind az emberi olvasható megjegyzéseket, mind az új, gépi olvasható irányelvt közvetlenül a webhely „robots.txt” fájljába integrálja. A házirend három különálló jelet vezet be. Az „AI-input” jel a valós idejű felhasználást szabályozza a generatív AI válaszokban, például a visszakeresési generáció (RAG). Végül, az „Ai-Train” jelvezérlő ellenőrzi, hogy a tartalom felhasználható-e az AI modellek kiképzésére vagy finomítására. A weboldal-üzemeltetők preferenciáikat egy egyszerű, vesszővel elválasztott sorral fejezhetik ki, mint például a „tartalom-jel: search=igen, ai-train=no” Lényeges, hogy ha egy jelet kihagynak, a házirend kimondja, hogy a weboldal tulajdonosa sem támogatja, sem korlátozza az engedélyt , így semleges lehetőséget hagyva. Az örökbefogadás ösztönzése érdekében a CloudFlare közzétette a házirendet CC0 licenc alatt, és generátor eszközt biztosít a Contensignals.org . Szerzői jogi irányelv. A vállalat szándékosan hagyta el a „AI-input” jelét semlegesen ebben a bevezetésben, kijelentve, hogy nem akarja kitalálni az ügyfelek preferenciáit az adott felhasználási esethez. Ez a lépés hatékonyan létrehoz egy hatalmas, webes léptékű kilépést az AI képzéshez. Az eredeti protokollhoz hasonlóan a tartalomjelek tanácsadói és technikailag nem érvényesíthetők.
Néhány rossz szereplő egyszerűen figyelmen kívül hagyhatja az új szabályokat. Ez az oka annak, hogy a CloudFlare a politikát „jogok foglalásaként”, a kiadó jogi pozíciójának megerősítéséről. A cég korábban elindította az „AI Labirintus” eszközt, amely a nem megfelelő botok csapdájának csapdájának csapdájának csapdájú labirintusában, és a „Pay Per Crawl” tesztelést végzi, hogy a webhelyek a hozzáférést töltsék fel. A ragaszkodási pont továbbra is a Google. A tanúvallomások az USA v. Google elleni próbaverziója során kiderült, hogy a vállalat különálló opt-out rendszereket használ az alapvető keresési termékeihez és a Gemini AI modelljeihez. A Google AI szolgáltatásai és a kockázat elvesztése a létfontosságú keresési forgalom, vagy lehetővé teszi a tartalom használatát az egész táblán.