Ein Google-Search-Analyst hat den Alarm ertönt: Die schnelle Proliferation von AI-Agenten und ihre oft aggressiven Web-Crawling-Taktiken sind auf dem Weg, um eine signifikante Internetverstopfung zu erzeugen und möglicherweise überwältigte Website-Server. Er warnte, dass dieses aufstrebende Problem die Webleistung für Benutzer abbauen und die digitale Infrastruktur, die die Online-Welt untermauert. Der Akt von Bots, die Webseiten holen. Stattdessen liegt das Hauptanliegen laut Illyes bei den nachfolgenden, ressourcenintensiven Aufgaben zur Indexierung und Verarbeitung der großen Datenmengen, die diese AI-Agenten sammeln. dass einige KI-Bots versuchen, das gesamte Internet in bemerkenswert kurzen Zeitrahmen zu kriechen. Illyes erwähnte Versuche, das Web in nur 25 Sekunden zu scannen, was Server leicht überwältigen kann. Diese intensive Aktivität wirft kritische Fragen zur eskalierenden Spannung zwischen dem unersättlichen Bedarf an Daten und der operativen Gesundheit des Internets auf. Illyes hat das Gefühl festgehalten, indem er erklärte: „Jeder und meine Großmutter starten einen Crawler”
Die Schwellung der KI-Crawler
Dieser Anstieg der automatisierten Aktivitäten ist weitgehend angetrieben. Dieses erhöhte Kriechling ist jedoch mit Konsequenzen verbunden.
Zum Beispiel hat Suchmaschinenjournal beschrieben, wie SourceHut -D-Disruction-Disruters-Modell,”HaRters-Drawbing”-Modell, das MODLALS-MODLALS-MODLALS, VERSCHREIBEN, MODLALS-DISPRAUTIONEN, DAS AGGRESSION-LAGE-MODEL (LLM). mehrere Cloud-Anbieter. Die Skala dieses Verkehrs ist erheblich; Daten von Vercel, die auch vom Suchmaschinenjournal berichtet wurden, zeigten, dass OpenAIs GPTBOT in einem einzigen Monat 569 Millionen Anfragen generierte, wobei die Claude von Anthropic 370 Millionen ausmacht. Crawler, mit einem erheblichen Teil von AI-Schabern. Diese Nichteinhaltung bedeutet, dass Website-Eigentümer nur begrenzte Kontrolle darüber haben, auf welche Bots auf ihren Inhalt zugreifen, und wie häufig. Reaktion auf diese Herausforderungen, Unternehmen wie CloudFlare haben zunehmend anspruchsvolle Gegenmaßnahmen entwickelt. Im März führte CloudFlare AI Labyrinth ein, ein System, das nicht automatische AI-Crawlers in die Irre führte und nicht automatisch generierte Inhalte in die Laune von Mazes lockte. Das Unternehmen des Unternehmens ist, dass KI-Schaber, wenn sie mit dem Verzehr von gefälschten Seiten damit beschäftigt sind, keinen echten Wert zu extrahieren. Im Juli 2024 startete das Unternehmen ein kostenloses Tool, das den Websites helfen soll, AI-Bots zu blockieren. Dies folgte im September 2024 von der Suite „Bot Management“, die eine Live-Überwachung und eine stärkere Kontrolle über den Bot-Zugriff bietet. Matthew Prince, CEO von Cloudflare, behauptete, mit seinem System „wird jeder AI-Crawler markiert, selbst diejenigen, die Verkleidungen verwenden. von Robots.txt gegen entschlossene Schaber bleibt ein zentrales Problem. Inhaltslizenzierungsfirma Tollbit, wie von
Er schlug ferner vor, dies stellt eine signifikante Transformation für das Internet dar, in der er erklärt, dass„ die Datenschicht und die Inhaltsschicht sich von der Präsentationsschicht trennen und von der Präsentationsschicht entkoppeln sollen “, wobei die Veränderung dessen, wie auf Webinhalte auf Webinhalte zugegriffen wird, und konsumiert werden. Für Unternehmen. Wenn Sie den Aufstieg von AI-Agenten ignorieren, verringerte die Sichtbarkeit und einen signifikanten Rückgang des organischen Verkehrs. Da sich das Web weiterentwickelt, werden Website-Eigentümer aufgefordert, ihre Infrastruktur proaktiv zu bewerten, Zugriffskontrollen über Roboter hinaus zu stärken. Initiativen wie Common Crawl, die das Web kriechen und Daten öffentlich zur Reduzierung des redundanten Verkehrs teilen, wurden von Illyes auch als potenzielles Modell für eine nachhaltigere Zukunft erwähnt.