Un analista de búsqueda de Google ha sonado la alarma: la proliferación rápida de los agentes de IA y sus tácticas a menudo agresivas de la web se extienden están en una trayectoria para crear una congestión significativa en Internet y potencialmente abrumador de los servidores del sitio web. Este problema emergente, advirtió, podría degradar el rendimiento web para los usuarios y forzar la infraestructura digital que sustenta el mundo en línea.
Por ejemplo, Search Engine Journal detalló cómo se enfrentó SourceHut interrupciones de servicio debido a un modelo de lenguaje grande agresivo (llmmmm, llmm, les lleva a crawlm) Proveedores de nubes. La escala de este tráfico es sustancial; Los datos de VERCE, también informados por Search Engine Journal, mostraron que GPTBOT de OpenAI generó 569 millones de solicitudes en un solo mes, con Claude de Anthrope que representa 370 millones.
La firma de métricas AD DOBLOVERIFY notó un aumento de 86 por ciento en el tráfico general (GIVT)-Bot Traffic no debe ser contado como las vistas AD AT ATS HALTI HALM HALM HALM HALME24, ATRUGA ESTA ATRUDIO A SURGE A SURGE A SURGE A SURGE A SURGE. Los rastreadores, con una porción significativa proveniente de raspadores de IA.
que agravan el problema, muchos rastreadores de IA tienden a ignorar el protocolo de robots. Este incumplimiento significa que los propietarios de sitios web tienen un control limitado sobre el cual los bots acceden a su contenido y con qué frecuencia.
Esta mayor actividad de los bots de IA de motores no de búsqueda puede consumir recursos del servidor, lo que puede impactar la capacidad de los botes de búsqueda legítimos de los motores de búsqueda a los botes de búsqueda legítimos e indexar las páginas críticas de la evolución de la evolución de la evolución de la misma.
En respuesta a estos desafíos, compañías como Cloudflare han estado desarrollando contramedidas cada vez más sofisticadas. En marzo, Cloudflare introdujo AI Labyrinth, un sistema diseñado para engañar activamente y agotar los rastreadores de IA no autorizados al atraerlos a laberintos de contenido autogenerado. El razonamiento de la compañía es que si los raspadores de IA están ocupados consumiendo páginas falsas, no están extrayendo valor real.
Esta no fue la primera incursión de Cloudflare en la defensa de AI Bot. En julio de 2024, la compañía lanzó una herramienta de cortesía destinada a ayudar a los sitios web a bloquear los bots de IA. Esto fue seguido en septiembre de 2024 por la suite”Bot Management”, que proporciona monitoreo en vivo y un control más granular sobre el acceso BOT. El CEO de Cloudflare, Matthew Prince, afirmó que con su sistema,”cada rastreador de IA es marcado, incluso aquellos que emplean disfraces”.
La compañía incluso describió su solución mejorada como una”Guardia de seguridad armada”, una actualización significativa del signo”sin ingreso”de la entrada”. La ineficacia de los robots.txt contra raspadores determinados sigue siendo un problema central. La firma de licencias de contenido Tollbit, según lo informado por reuters , ha hecho que muchos>, lo que acompaña a Ats. Simplemente elude este estándar web.
Incluso Google, con su vasta infraestructura, enfrenta desafíos en la gestión de la eficiencia de rastreo. Illyes reconoció que si bien Google se esfuerza por reducir su huella de rastreo, lo que indica que las nuevas demandas de productos de IA a menudo contrarrestan estos esfuerzos.
Mirando hacia el futuro, la base de usuarios de la web en sí puede estar experimentando un cambio fundamental. Industry observer Jeremiah Owyang, speaking to The New Stack, predicted that “the most common visitor to a website in the future is probably not going to be humans, but AI agents that are surrogates informes a los humanos.”
sugirió además que esto representa una transformación significativa para Internet, explicando que”la capa de datos y la capa de contenido están a punto de separarse y desacoplarse de la capa de presentación”, alterando fundamentalmente cómo se accede y se accede al contenido web y se consume. 2025 debido a la influencia de la IA. Para empresas. Ignorando el aumento de los riesgos de los agentes de IA disminuyó la visibilidad y una disminución significativa en el tráfico orgánico.
A medida que la web continúa evolucionando, se insta a los propietarios de sitios web a evaluar de manera proactiva su infraestructura, fortalecer los controles de acceso. Iniciativas como Common Crawl, que rastrea la web y comparte datos públicamente para reducir el tráfico redundante, también fueron mencionadas por Illyes como un modelo potencial para un futuro más sostenible.
Categories: IT Info
