Një analist i kërkimit në Google ka tingëlluar alarmin: Përhapja e shpejtë e agjentëve të AI dhe taktikat e tyre shpesh agresive të Crawling Web janë në një trajektore për të krijuar bllokime të konsiderueshme në internet dhe potencialisht mbingarkesë të internetit serverë. Kjo çështje në zhvillim, ai paralajmëroi, mund të degradojë performancën në internet për përdoruesit dhe të tendosë infrastrukturën dixhitale që nënvizon botën në internet. thjesht akti i bots që marrin faqe në internet. Përkundrazi, shqetësimi kryesor, sipas Illyes, qëndron në detyrat e mëvonshme, intensive të burimeve për indeksimin dhe përpunimin e sasive të mëdha të të dhënave që këta agjentë të AI mbledhin. vuri në dukje se disa bots të AI përpiqen të zvarriten të gjithë internetin në afate kohore jashtëzakonisht të shkurtra. Illyes përmendi përpjekjet për të skanuar uebin në aq pak sa 25 sekonda, të cilat lehtë mund të mposhtin serverët. Ky aktivitet intensiv ngre pyetje kritike në lidhje me tensionin e përshkallëzuar midis nevojës së pangopshme të AI për të dhëna dhe shëndetit operacional të Internetit. Illyes kapën ndjenjën duke thënë,”Të gjithë dhe gjyshja ime po lançon një zvarritës”
vala e ënjtjes së Crawlers AI
kjo rritje e aktivitetit të automatizuar është nxitur kryesisht nga bizneset që vendosin një gjeneratë të re të mjeteve të AI për qëllime të ndryshme, duke përfshirë krijimin e përmbajtjes, konkurrencën, analizën e tregut, dhe duke ekzaminuar në mënyrë të madhe. Sidoqoftë, kjo zvarritje e shtuar vjen me pasoja. ofruesit. Shkalla e këtij trafiku është e konsiderueshme; Të dhënat nga Vercel, të raportuara gjithashtu nga Revista Engine Revista, treguan se GPTBot i Openai gjeneroi 569 milion kërkesa në një muaj të vetëm, me Claude të Antropikut që përbën 370 milion. Crawlers, me një pjesë të konsiderueshme që vjen nga Scrapers AI. Kjo mosrespektim nuk do të thotë që pronarët e faqeve të internetit kanë një kontroll të kufizuar mbi të cilët bots qasen në përmbajtjen e tyre dhe sa shpesh.
Në përgjigje të këtyre sfidave, kompani si CloudFlare kanë zhvilluar kundërmasa gjithnjë e më të sofistikuara. Në Mars, CloudFlare prezantoi AI Labyrinth, një sistem i krijuar për të mashtruar dhe shteruar në mënyrë aktive Crawlers të paautorizuar të AI duke i joshur ato në mazes me përmbajtje të gjeneruar automatikisht. Arsyetimi i kompanisë është se nëse Scrapers AI janë të zënë me konsumimin e faqeve të rreme, ato nuk po nxjerrin vlerë të vërtetë. Në korrik 2024, kompania nisi një mjet kompliment që synon të ndihmojë faqet e internetit të bllokojnë Bots AI. Kjo u pasua në Shtator 2024 nga suita”Menaxhimi i Bot”, i cili siguron monitorim të drejtpërdrejtë dhe kontroll më kokrrizor mbi hyrjen në botë. Drejtori i Përgjithshëm i Cloudflare Matthew Prince pohoi se me sistemin e tyre,”çdo zvarritës i AI merr flamur, madje edhe ata që përdorin maskime.”joefektiviteti i robotëve.txt kundër skrapuesve të vendosur mbetet një çështje qendrore. Firma e licencimit të përmbajtjes Tollbit, siç raportohet nga
Edhe Google, me infrastrukturën e tij të gjerë, përballet me sfida në menaxhimin e efikasitetit zvarritës. Illyes pranoi se ndërsa Google përpiqet të zvogëlojë gjurmën e tij zvarritëse, duke treguar që kërkesat e reja të produktit AI shpesh i kundërveprojnë këto përpjekje. Observer i industrisë Jeremiah Owyang, duke folur për
Ai më tej sugjeroi se kjo paraqet një transformim të rëndësishëm për internetin, duke shpjeguar se”shtresa e të dhënave dhe shtresa e përmbajtjes janë gati të ndahen dhe zbërthejnë nga shtresa e prezantimit,”duke ndryshuar thelbësisht se si përmbajtja në internet është qasur dhe konsumuar. për ndikimin e AI. Për bizneset. Duke injoruar rritjen e agjentëve të AI rreziqet e ulura të dukshmërisë dhe një rënie të konsiderueshme të trafikut organik. Iniciativat si Common Crawl, e cila zvarrit në internet dhe ndan të dhënat publikisht për të zvogëluar trafikun e tepërt, u përmendën gjithashtu nga Illyes si një model i mundshëm për një të ardhme më të qëndrueshme.