Google Searchアナリストがアラームを鳴らしました。AIエージェントの急速な拡散とその積極的なWebクロールの戦術は、重要なインターネットの混雑を作成するための軌跡に載っています。この新たな問題は、ユーザーのウェブパフォーマンスを分解し、オンラインの世界を支えるデジタルインフラストラクチャに負担をかける可能性があると警告しました。単にWebページを取得するボットの行為。代わりに、Illyesによると、主な関心事は、これらのAIエージェントが収集する膨大な量のデータをインデックス作成と処理するためのその後のリソース集約的なタスクにあります。一部のAIボットは、非常に短い時間枠でインターネット全体をクロールしようとします。 Illyesは、わずか25秒でWebをスキャンしようとする試みに言及しました。これは簡単にサーバーを圧倒することができます。この集中的な活動は、AIのデータに対する飽くなきニーズとインターネットの運用上の健康との間の緊張のエスカレートに関する重要な疑問を提起します。 Illyesは、「全員と私の祖母がクローラーを立ち上げている」
AIクローラーの腫れの潮を捉えて感情を捉えました
ただし、この増加するクロールは結果をもたらします。たとえば、検索エンジンジャーナルは、sourcehutが
問題を悪化させ、多くのAIクローラーは、ボットの動作をガイドすることを目的とした長年のWeb標準であるrobots.txtプロトコルを無視する傾向があります。この不遵守は、Webサイトの所有者がコンテンツにアクセスする頻度とどの程度の頻度を制御できるかを意味します。これらの課題への対応、CloudFlareのような企業は、ますます洗練された対策を開発してきました。 3月、CloudFlareはAI Labyrinthを導入しました。AILabyrinthは、自動生成コンテンツの迷路に誘惑することにより、AIクローラーを積極的に誤解させ、排出するように設計されたシステムです。同社の理由は、AIスクレーパーが偽のページを消費するのに忙しく、実際の価値を抽出していないということです。 2024年7月、同社は、WebサイトがAIボットをブロックするのを支援することを目的とした無料のツールを開始しました。これに続いて、2024年9月に「BOT Management」スイートが続きました。これは、ライブ監視とボットアクセスに対するより詳細な制御を提供します。 Cloudflare CEOのMatthew Princeは、システムで「すべてのAIクローラーが変装を採用している人でさえフラグを立てる」と主張しました。
会社は、その強化されたソリューションを「武装した警備員」と説明しました。 robots.txtの決定的なスクレーパーに対する無効性は、依然として中心的な問題です。 Content licensing firm TollBit, as reported by Reuters, has stated that many AI agents simplyこのWeb標準をバイパスします。
膨大なインフラストラクチャを備えたGoogleでさえ、クロール効率を管理する上で課題に直面しています。 Illyesは、Googleがクロールフットプリントを減らすよう努力しているが、新しいAI製品がこれらの努力をしばしば打ち消すことが多いことを示すことを認めた。業界のオブザーバージェレミア・オウヤンは、> aiの最も一般的な訪問者には、最も一般的な訪問者がいると予測しました。
彼はさらに、これがインターネットの大幅な変換を表していることを示唆し、「データレイヤーとコンテンツレイヤーはプレゼンテーションレイヤーから分離して分離しようとしている」と説明し、Webコンテンツにアクセスして消費される方法を根本的に変更します。 AIの影響。企業向け。 AIエージェントの上昇を無視することは、視認性の低下と有機トラフィックの大幅な減少を無視します。
Webが進化し続けるにつれて、Webサイトの所有者はインフラストラクチャを積極的に評価し、TXTを超えたアクセス制御を強化し、データベースパフォーマンスを最適化し、人間のユーザーの増加と自動化アレイのアレイを拡大するトラフィックを監視するように促されます。 Webをクロールし、冗長なトラフィックを削減するためにデータを公開しているCommon Crawlのようなイニシアチブは、より持続可能な未来の潜在的なモデルとしてイリュイズによって言及されました。
