Un analyste de recherche Google a sonné l’alarme: la prolifération rapide des agents de l’IA et leurs tactiques de rafraîchissement souvent agressives sont sur une trajectoire pour créer une congestion d’Internet importante et potentiellement submerger les serveurs de sites Web.
Gary Illyes, à partir de l’équipe de relations de recherche de Google, a souligné que, même si l’internet est construit pour un trafic substantiel, le volume pair et l’intensité de certains croupies sur Internet. Ce problème émergent, a-t-il averti, pourrait dégrader les performances Web pour les utilisateurs et forcer l’infrastructure numérique qui sous-tend le monde en ligne.
Le nœud du problème, a expliqué Illyes lors de la
Par exemple, Rechercher le journal du moteur a détaillé comment SourceHut était confronté à Les détentes du service plusieurs fournisseurs de cloud. L’ampleur de ce trafic est substantielle; Les données de Vercel, également rapportées par Search Engine Journal, ont montré que le GPTBOT d’OpenAI a généré 569 millions de demandes en un seul mois, le claude d’Anthropic représentant 370 millions.
Metrics AD Firm DoubleVify a en outre noté une augmentation de 86% dans le trafic invalide général (GIVT)-le trafic bot qui ne devait pas être compté comme ADVEA Crawlers, avec une partie importante provenant de Scraphers d’IA.
Composant le problème, de nombreux robots d’IA ont tendance à ignorer le protocole robots.txt, la norme Web de longue date destinée à guider le comportement des bot. Cette non-conformité signifie que les propriétaires de sites Web ont un contrôle limité sur lesquels les robots accèdent à leur contenu et à la fréquence
En réponse à ces défis, des entreprises comme Cloudflare ont développé des contre-mesures de plus en plus sophistiquées. En mars, CloudFlare a introduit AI Labyrinth, un système conçu pour induire et épuiser activement les robots non autorisés en erreur en les attirant dans des labyrinthes de contenu généré automatiquement. Le raisonnement de l’entreprise est que si les grattoirs IA sont occupés à consommer de fausses pages, ils n’extraient pas de valeur réelle.
Ce n’était pas la première incursion de Cloudflare dans la défense des bots AI. En juillet 2024, la société a lancé un outil gratuit visant à aider les sites Web à bloquer les robots d’IA. Cela a été suivi en septembre 2024 par la suite «Bot Management», qui offre une surveillance en direct et un contrôle plus granulaire sur l’accès aux robots. Le PDG de CloudFlare, Matthew Prince, a affirmé qu’avec leur système,”chaque robot d’origine d’IA est signalé, même ceux qui utilisent des déguisements”. L’inefficacité des robots.txt contre les grattoirs déterminés reste un problème central. La société de licence de contenu Tollbit, tel que rapporté par REUTEURS contourner simplement cette norme Web.
Même Google, avec sa vaste infrastructure, est confrontée à des défis dans la gestion de l’efficacité de la rampe. Illyes a reconnu que si Google s’efforce de réduire son empreinte rampante, ce qui indique que de nouvelles exigences de produits d’IA contrecarrent souvent ces efforts.
En avance, la base d’utilisateurs du Web elle-même peut subir un changement fondamental. L’observateur de l’industrie Jeremiah Owyang, s’adressant à la nouvelle pile , mais que”le visiteur le plus commun à un site Web est probablement humans.”
He further suggested this represents a significant transformation for the internet, explaining that “the data layer and the content layer is about to separate and decouple from the presentation layer,”fundamentally altering how web content is accessed and consumed.
This aligns with a Gartner forecast, cited by The New Stack, that search engine traffic could plummet by 25% by the end of 2025 due to L’influence de l’IA. Pour les entreprises. Ignorer la montée des risques d’agents d’IA a diminué la visibilité et une baisse significative du trafic organique.
Alors que le Web continue d’évoluer, les propriétaires de sites Web sont invités à évaluer de manière proactive leur infrastructure, à renforcer les contrôles d’accès au-delà des robots. Les initiatives comme Common Crawl, qui rampent le Web et partage publiquement les données pour réduire le trafic redondant, ont également été mentionnés par les Illyes comme un modèle potentiel pour un avenir plus durable.
