A Google Search elemző riasztást hangzott: az AI-ügynökök gyors elterjedése és gyakran agresszív web-mászó taktikák olyan pályán vannak, hogy jelentős internetes torlódást és potenciálisan elárasztott webhely-kiszolgálókat hozzanak létre. Ez a feltörekvő kérdés, figyelmeztette, megsemmisítheti a felhasználók webes teljesítményét, és megfoszthatja a digitális infrastruktúrát, amely alátámasztja az online világot. pusztán a botok cselekedete a weboldalakhoz. Ehelyett az Illyes szerint az elsődleges aggodalom a későbbi, erőforrás-igényes feladatokkal rejlik, amelyek a hatalmas mennyiségű adatot és feldolgozást végzik. Néhány AI bot megpróbálja az egész internetet figyelemre méltó rövid időkereteken mászni. Illyes megemlítette, hogy csak 25 másodperc alatt megkísérelje a web szkennelését, ami könnyen eláraszthatja a szervereket. Ez az intenzív tevékenység kritikus kérdéseket vet fel az AI kielégíthetetlen adatigénye és az internet működési egészsége közötti fokozódó feszültségről. Az Illyes az érzelmeket azáltal, hogy kijelentette: „Mindenki és a nagymamám egy lökést indít. Ez a megnövekedett mászás azonban következményekkel jár. felhőszolgáltatók. Ennek a forgalomnak a skálája jelentős; A Vercel adatai, amelyeket a Search Engine Journal is közölt, az Openai GPTBOT-jának 569 millió kérelmet generált egy hónap alatt, az Antropic Claude számvitelével 370 millió. A feltérképezők, amelyek jelentős részét az AI kaparókból származnak. Ez a megsértés azt jelenti, hogy a weboldaltulajdonosok korlátozott irányítást végeznek a tartalmukhoz való hozzáféréshez és milyen gyakran.
Ezekre a kihívásokra válaszul a CloudFlare-hez hasonló vállalatok egyre kifinomultabb ellenintézkedéseket fejlesztettek ki. Márciusban a CloudFlare bemutatta az AI Labirintust, egy olyan rendszert, amelynek célja az aktívan félrevezetni és kipufogógázni az AI robotokat azáltal, hogy az automatikusan generált tartalom labirintusába vonzza őket. A vállalat érvelése az, hogy ha az AI kaparók hamis oldalakat fogyasztanak, akkor nem vonják ki a valós értéket. 2024 júliusában a vállalat ingyenes eszközt indított, amelynek célja a webhelyek blokkolása az AI botok blokkolásában. Ezt 2024 szeptemberében követte a „Bot Management” lakosztály, amely élő megfigyelést és részletesebb irányítást biztosít a bot hozzáférése felett. A CloudFlare vezérigazgatója, Matthew Prince azt állította, hogy a rendszerükkel: „Minden AI-rugózót megjelölnek, még az álruhákat is.”A robotok hatékonysága.txt a meghatározott kaparókkal szemben továbbra is központi kérdés. Tollbit tartalom engedélyező cége, amint azt Reuters , a Publiser–sites-licensing-2024-06-21, a Egyszerűen megkerüli ezt a webes szabványt. Illyes elismerte, hogy míg a Google arra törekszik, hogy csökkentse a mászó lábnyomát, jelezve, hogy az új AI termékek igényei gyakran ellensúlyozzák ezeket az erőfeszítéseket. Az ipari megfigyelő Jeremiah Owyang, a
Azt is javasolta, hogy ez jelentős átalakulást jelent az internet számára, elmagyarázva, hogy„ az adatréteg és a tartalomréteg elválasztja és elválasztja a prezentációs réteget. A vállalkozások számára. Ha figyelmen kívül hagyjuk az AI ügynökök növekedésének növekedését, csökkenti a láthatóságot és az ökológiai forgalom jelentős csökkenését. Az olyan kezdeményezéseket, mint a Common Crawl, amely az interneten mászik, és nyilvánosan megosztja az adatokat a felesleges forgalom csökkentése érdekében, Illyes szintén megemlítette a fenntarthatóbb jövő potenciális modelljét.