Een Google-zoekanalist heeft het alarm gekregen: de snelle proliferatie van AI-agenten en hun vaak agressieve web-crawling-tactieken zijn een traject om aanzienlijke internetcongestie te creëren en mogelijk overweldigende website-servers.
Gary Illyes, benadrukte een nieuwe uitdaging en intensiteit van een nieuwe uitdaging. Dit opkomende probleem, waarschuwde hij, zou de webprestaties voor gebruikers kunnen verslechteren en de digitale infrastructuur kunnen spannen die de online wereld ondersteunt.
De crux van het probleem, Illyes uitgelegd tijdens Google’s
He merkte op dat sommige AI-bots proberen het hele internet in opmerkelijk korte tijdschema’s te kruipen. Illyes noemde pogingen om het web in slechts 25 seconden te scannen, wat gemakkelijk servers kan overweldigen. Deze intensieve activiteit roept kritische vragen op over de escalerende spanning tussen AI’s onverzadigbare behoefte aan gegevens en de operationele gezondheid van internet. Illyes captured the sentiment by stating, “everyone and my grandmother is launching a crawler” This surge in automated activity is largely fueled by businesses deploying a new generation of AI tools for diverse purposes, including content creation, competitive research, market analysis, and extensive data gathering. However, this increased crawling comes with consequences. For instance, Search Engine Journal detailed how SourceHut faced service disruptions due to aggressive Large Language Model (LLM) crawlers, leading them to block several Cloudproviders. De schaal van dit verkeer is aanzienlijk; Gegevens van Vercel, ook gerapporteerd door Search Engine Journal, toonden aan dat de GPTBOT van OpenAI in één maand 569 miljoen verzoeken genereerde, met Claude’s Claude Accounting voor 370 miljoen. AD-metrics Firm Doubleverify Double Att At Algemene At Algemeen Crawlers, met een aanzienlijk deel afkomstig van AI-schrapers. Het probleem verergeren, veel AI-crawlers hebben de neiging het robots te negeren. TXT-protocol, de al lang bestaande webstandaard bedoeld om botgedrag te begeleiden. Deze niet-naleving betekent dat website-eigenaren een beperkte controle hebben over welke bots toegang krijgen tot hun inhoud en hoe vaak. Deze verhoogde activiteit van niet-zoekmotor AI-bots kan serverbronnen verbruiken, waardoor het vermogen van legitieme zoekmachine bots kan worden beïnvloed om te kruipen en de evoluatie van het evolueren van de evoluatie van de evoluatie van de evoluatie van de evoluatie en de evoluatie van de evoluatie van de evoluatie van de evoluatie. In reactie op deze uitdagingen ontwikkelen bedrijven als CloudFlare steeds geavanceerdere tegenmaatregelen. In maart introduceerde Cloudflare AI Labyrinth, een systeem dat is ontworpen om ongeoorloofde AI-crawlers actief te misleiden en uit te putten door ze te lokken in doolhoven met automatisch gegenereerde inhoud. De redenering van het bedrijf is dat als AI-schrapers bezig zijn met het consumeren van neppagina’s, ze geen echte waarde extraheren. Dit was niet het eerste uitstapje van Cloudflare in AI BOT-verdediging. In juli 2024 lanceerde het bedrijf een gratis tool gericht op het helpen van websites om AI-bots te blokkeren. Dit werd in september 2024 gevolgd door de”Bot Management”Suite, die live monitoring en meer gedetailleerde controle biedt over BOT-toegang. Cloudflare CEO Matthew Prince beweerde dat met hun systeem:”Elke AI-crawler wordt gemarkeerd, zelfs degenen die vermommingen gebruiken.” Het bedrijf beschreef zelfs zijn verbeterde oplossing als een”gewapende bewaker”, een significante upgrade van het passieve”geen invoer”-teken dat robots.txt effectief vertegenwoordigt. Ineffectiviteit van robots.txt tegen bepaalde schrapers blijft een centrale kwestie. Inhoudslicentiebedrijf Tollbit, zoals gerapporteerd door
Zelfs Google, met zijn enorme infrastructuur, staat voor uitdagingen bij het beheren van kruipende efficiëntie. Illyes erkende dat hoewel Google ernaar streeft om zijn kruipende voetafdruk te verminderen, wat aangeeft dat het nieuwe AI-productvereisten deze inspanningen vaak tegengaan. vooruit kijkt, kan het gebruikersbestand van internet zelf een fundamentele verschuiving ondergaan. Industrie-waarnemer Jeremiah Owyang, spreekt met De nieuwe stack , voorspelde dat”de meest voorkomende bezoeker van een website in de toekomst is, is geen mensen, maar een ai-agenten, maar een huls van de toekomst, maar een huls van de toekomst, maar een huls. mensen.” Hij suggereerde verder dat dit een belangrijke transformatie voor internet is, waarin wordt uitgelegd dat”de gegevenslaag en de inhoudslaag op het punt staan te scheiden en te ontkoppelen van de presentatielaag,”fundamenteel wijzigen van de webinhoud die wordt toegankelijk en geconsumeerd. AI’s invloed. Voor bedrijven. Het negeren van de opkomst van AI-agenten riskeert een verminderde zichtbaarheid en een aanzienlijke afname van het organische verkeer. Terwijl het web blijft evolueren, worden website-eigenaren aangespoord om proactief hun infrastructuur te beoordelen, de toegangscontroles te versterken, de toegangscontroles te versterken. Initiatieven zoals Common Crawl, die het web kruipen en gegevens publiekelijk deelt om redundant verkeer te verminderen, werden ook door Illyes genoemd als een potentieel model voor een duurzamere toekomst. 
The Swelling Tide Of AI Crawlers
