A Web Security Giant CloudFlare azzal vádolta az AI kereső céget, amelyben a megtévesztő „lopakodó robotokat” használják a webhely szabályai megkerülésére és a tartalom lekaparására. Egy jelentésben a CloudFlare States zaklatása általános böngésző identitással maszkolja a botjait, hogy figyelmen kívül hagyja a kiadói blokkokat. Ez a lépés az AI-társaságok és a tartalom alkotói közötti küzdelemben jelentős fokozódást jelent, és intenzív ellenőrzés alá helyezi a zavarosság agresszív növekedési stratégiáját. href=”https://blog.cloudflare.com/perplexity-is-using-stealth-undeclared-crawlers-to-evade-website-nowrawl-directives/”Target=”_ üres”> augusztus 4-i blogbejegyzés , az ügyfélpanaszok ösztönözték. Ezek a felhasználók beszámoltak arról, hogy annak ellenére, hogy mind a „robotok.txt” irányelveket, mind a konkrét tűzfalszabályokat végrehajtották, hogy blokkolják a zavarosság hivatalosan bejelentett rászorítóit, a „PomplexityBot” és a „Zsóslás-felhasználó”, tartalmukat még mindig az AI szolgáltatáshoz férnek hozzá.
A biztonsági cég azt állítja, hogy a zavart két-rövid megközelítést alkalmaz. Amikor a kijelentett robotokat blokkolják, úgy tűnik, hogy a vállalat be nem jelentett robotokat telepít, amelyek megszemélyesítik a standard webes böngészőket. Ezeket a lopakodó rugókat megfigyelték, hogy a nem jegyzett IP-címek révén forogtak, és még a forrás autonóm rendszereiket (ASNS) is megváltoztatták, amit a CloudFlare szándékos kísérletnek neveznek tevékenységük elrejtésére és a kiadói preferenciák megkerülésére. GECKO) Chrome/124.0.0.0 Safari/537.36. Ezt az általános karakterláncot úgy tervezték, hogy a CHROME segítségével egy MACOS-eszköz normál emberi forgalmával keverje be, megnehezítve a blokkolást anélkül, hogy potenciálisan befolyásolná a legitim felhasználókat. A CloudFlare szerint ez a viselkedés megsérti a létrehozott webes mászó normákat, például az RFC 9309-ben vázolt. Új, nem indexelt domaineket regisztráltak, amelyek nem voltak nyilvánosan felfedezhetőek, és rájuk egy nagyon korlátozó „robot.txt” fájlt helyeztek el, és nem tiltották meg az összes rugót. Ezen óvintézkedések ellenére, amikor megkérdezték a zavarosság AI-jét az ezen területek titkos tartalmáról, a Szolgáltatás részletes és pontos összefoglalókat nyújtott be, jelezve, hogy sikeresen megkerülte a blokkokat. A CloudFlare megjegyezte, hogy ezt a tevékenységet több tízezer területen figyelték meg, napi több millió kéréssel, és hogy a gépi tanulást az ujjlenyomat és az kitérő lökés nyomon követésére használva. Hasonló tesztek során az Openai „Chatgpt-User” crawler helyesen letöltötte a „robots.txt” fájlt, és megtagadva abbahagyta a tevékenységet. Tiszteletben tartotta a hálózati szintű blokkokat is, amelyeket a CloudFlare „megfelelő válaszként” írt le egy jóhiszeműen működő jól viselkedett bot-operátor számára. 2024 júniusában a fejlesztő, Robb Knight részletesen dokumentálta, hogy az AI cég miként kaparja meg webhelyeit, a RadWeb-t és a Macstories-t, annak ellenére, hogy mind a „robots.txt” szabályokat, mind a szigorúbb szerverszintű blokkokat végrehajtotta az Nginx segítségével. Knight felfedezte, hogy a bot nem a bejelentett azonosítóját, hanem egy általános felhasználói ügynököt használja, hogy megkerülje védekezését. 2025 júniusában a BBC a szerzői jogok megsértése és a hírnév károsodása miatt jogi lépéseket fenyegetett, állítva, hogy a zavarosság szó szerint megismételte újságírását. A zavarosság éles tagadást adott ki, és az állításokat „manipulatívnak” hívta, és azzal vádolta a műsorszolgáltatót, hogy megpróbálta megvédeni a Google piaci dominanciáját. Ez csatlakozik a kiadók, például a New York Times és a News Corp.
olyan konfliktusának egyre növekvő listájához, amely a konfliktus annak hátterében bontakozik ki, amit sok kiadó válságnak tekint. A CloudFlare vezérigazgatója, Matthew Prince az AI-keresés áttételi forgalmának csökkenését „egzisztenciális fenyegetésnek” nevezte, feltárva, hogy az antropikus AI-t lekaparott oldalak aránya a visszaküldött látogatókhoz 60 000-re kráter. Ezt az érzetet a News/Media Alliance vezérigazgatója, Danielle Coffey, aki kijelentette: „A linkek voltak a keresés legutóbbi visszaváltási minősége, amely forgalmat és bevételt adott a kiadóknak. Most a Google csak erővel veszi fel a tartalmat, és visszatérés nélkül használja.”A zavarosság elleni legutóbbi fellépése előtt a vállalat már kifinomult ellenintézkedéseket telepített. Ide tartoznak az „AI labirintus”, egy olyan megtévesztő eszköz, amely a hamis tartalom labirintusában nem megfelelő botokat csapdába ejti az erőforrások pazarlásához, és a „Crawl-enként fizet”, egy olyan rendszer, amely lehetővé teszi a webhelyek számára a hozzáférést, azáltal, hogy újjáéleszti a hosszú távú HTTP 402 „Fizetés szükséges” állapotkódját. A webes újszabályok számára az új szabályok. Elutasítva azt az elképzelést, miszerint az AI cégek túl hatalmasak ahhoz, hogy megálljanak, híresen felrobbant: „És azt mondod, hogy nem tudom megállítani a Palo Alto-ban egy C-vállalatú majomot?”
A kettős narratívum: robbanásveszélyes növekedés etikai ellenőrzés közepette
Az ellentmondásos kontrasztok a Perplexity meteorikus emelkedésével. Az induló vállalkozás értékelése állítólag 18 milliárd dollárra emelkedett 2025 júliusában, ez egy hatalmas ugrás a 2024 eleji számaihoz képest. Ezt a növekedést egy agresszív bővítési stratégia táplálja. Aravind Srinivas vezérigazgató megígérte, hogy az üstökös „olyan alapvető böngészési fejlesztéseket eredményez, amelyeket a Chrome nem szállított már régóta”, és ezt „gondolatpartnerként” készíti a felhasználók számára. Az indiai telekommunikációs óriás Airtel-vel való közelmúltbeli partnerség ingyenes évet kínál a Pousbity Pro számára 360 millió ügyfél számára, egy merész lépés a kulcsfontosságú piac elfogásához. Ez hasonló megállapodást követ a Motorola-val, bár ezt korlátozta a Google monopóliumellenes szerződései. Az Appknox 2025. áprilisi biztonsági ellenőrzése „kritikus sebezhetőségeket” jelölt meg a Puszexitás Android alkalmazásában. Az AI fejlesztőknek hatalmas mennyiségű adatot igényelnek a modellek kiképzéséhez, míg a kiadók látják, hogy tartalmukat olyan energiaellátáshoz használják, amely a forgalmat és a bevételüket kannibalizálja. Míg a New York Times bepereli az Openai-t, ez egyidejűleg aláírt egy jelentős tartalmi engedélyezési megállapodást az Amazon-szal.
A zaklatás helyzete magában foglalja ezt az iparági küzdelmet. Ez egyidejűleg egy híres újító, aki az AI-keresés határait tolja, és egy ellentmondásos színész, akit vádoltak a régóta működő webes protokollok megtörésében. Ennek és a hasonló konfliktusok eredménye valószínűleg meghatározza az internet következő generációjának szabályait.
