Analityk wyszukiwania Google zabrzmiał alarm: szybka rozprzestrzenianie agentów AI i ich często agresywne taktyki wkulania internetowego mają trajektorię tworzenia znaczących zatorów internetowych i potencjalnie przytłoczenia serwerów stron internetowych.
Gary Illyes, z zespołu relacji z Google, podkreślając, że sam Internet jest zbudowany dla znaczącego ruchu i intensywności niektórych AI Prezentacji. Uważał, że ten pojawił się ten problem, może zdegradować wydajność internetową dla użytkowników i odcedzić infrastrukturę cyfrową, która stanowi podstawę świata online.
Szprze problemu, Illyes wyjaśnił podczas Google „wyszukaj z merier”. Akt botów przynoszący strony internetowe. Zamiast tego główny problem, według Illyesa, leży w kolejnych, wymagających zasobach zadaniach indeksowania i przetwarzania ogromnych ilości danych, które te agenci AI gromadzą.
Ten wzrost automatycznej działalności jest w dużej mierze napędzany przez firmy wdrażając nowe generowanie narzędzi AI na zróżnicowane cele, w zakresie tworzenia treści, rozległej analizy rynkowej. Jednak to zwiększone pełzanie ma konsekwencje. Na przykład Wyszukiwarki szczegółowo opisał, w jaki sposób Sourcehut skierował się Zgodnie z agresywnym modelem dużego języka (LLM). zablokować kilku dostawców chmur. Skala tego ruchu jest znaczna; Dane z Vercel, zgłoszone również przez wyszukiwarkę Journal, wykazały, że GPTBOT Openai wygenerował 569 milionów żądań w ciągu jednego miesiąca, a Anthropic Claude stanowi 370 milionów. Firma metryczne AD Doubleverify dalej odnotowało 86-procentowy wzrost ogólnego nieważnego ruchu (GIVT)-BOT, który nie powinien być rozważany jako pogląd na reklamę. Frawlery, ze znaczną częścią pochodzi ze skrobaczy AI. Współpracując, wiele robotów AI ma tendencję do zignorowania protokołu Robots.txt, długotrwałego standardu internetowego, który ma kierować zachowaniem bota. Ta niezgodność oznacza, że właściciele witryn mają ograniczoną kontrolę nad tym, które boty uzyskują dostęp do ich treści i jak często. Ta zwiększona aktywność z botów AI nie wyszukiwania może konsumować zasoby serwera, potencjalnie wpływając na zdolność legalnych botów wyszukiwarek, aby efektywnie indeksować i indeksować krytyczne strony. [zawartość osadzona] W odpowiedzi na te wyzwania firmy takie jak CloudFlare rozwijają coraz bardziej wyrafinowane środki zaradcze. W marcu Cloudflare wprowadził AI Labyrinth, system zaprojektowany w celu aktywnego wprowadzania w błąd i wyczerpania nieautoryzowanych zawołańczy AI poprzez zwabienie ich w labirynty treści automatycznej generowanej. Rozumowanie firmy jest takie, że jeśli skrobaki AI są zajęte konsumowaniem fałszywych stron, nie wydobywają prawdziwej wartości. To nie była pierwsza próba Cloudflare w obronie AI BOT. W lipcu 2024 r. Firma uruchomiła bezpłatne narzędzie mające na celu pomoc stronom w blokowaniu botów AI. Nastąpiło w tym wrześniu 2024 r. Przez pakiet „Bot Management”, który zapewnia monitorowanie na żywo i bardziej szczegółową kontrolę nad dostępem do bota. Dyrektor generalny Cloudflare Matthew Prince stwierdził, że dzięki swojemu systemowi „każda radzeczka AI zostaje oznaczona, nawet ci, którzy zatrudniają przebrania.” Firma opisała nawet jego ulepszone rozwiązanie jako „uzbrojona ochroniarz”, znacząca aktualizacja z pasywnego znaku „bez wejścia”, który robots.txt skutecznie reprezentuje. nawet Google, z ogromną infrastrukturą, stoi przed wyzwaniami w zarządzaniu wydajnością pełzania. Illyes przyznał, że chociaż Google stara się zmniejszyć swój czołgający się ślad, wskazując, że nowe wymagania dotyczące produktów AI często przeciwdziałają tym wysiłkom. Patrząc w przyszłość, sama baza użytkowników sieci może przechodzić fundamentalną zmianę. Obserwator branży Jeremiah Owyang, przemawiając do nowy stos , przewidywał, że „najczęstszym widocznym widocznym widzeniem w przyszłości jest to, że nie jest to, że nie jest to, że nie jest to, że jest to Surrogates, aby to być Surrogates. Ludzie.” Sugerował ponadto, że stanowi to znaczącą transformację dla Internetu, wyjaśniając, że„ warstwa danych i warstwa treści wkrótce się oddzieli i oddziela od warstwy prezentacji, „Zasadniczo zmieniając sposób, w jaki treść sieci jest dostępna i konsumpcja. To wyrównuje się z prognozą Gartnera, cytowaną przez nowy Stack. wpływ. Dla firm. Ignorując wzrost ryzyka agentów AI zmniejszyło widoczność i znaczny spadek ruchu organicznego. W miarę ewolucji sieci, właściciele witryn są zachęcani do proaktywnej oceny ich infrastruktury, wzmacniania kontroli dostępu poza robotami. TXT, optymalizację wydajności bazy danych, i starannie monitoruje ruch przychodzący w celu różnicowania ludzi w celu rozróżnienia ludzi i rosnącej armii. Inicjatywy takie jak Common Crawl, które pełzają internet i udostępnia dane publiczne w celu ograniczenia nadmiarowego ruchu, zostały również wspomniane przez Illies jako potencjalny model dla bardziej zrównoważonej przyszłości. Puchanie fali Crawlerów AI
CloudFlare i ewolucja
STRIFT> Nieefektywność robotów Firma licencjonowania treści Tollbit, jak donosi