オープンソース開発者は、AIを搭載したWebクローラーがインフラストラクチャを圧倒し、幅広い帯域幅を消費し、一部のプロジェクトを劇的な国全体に詰めさせることを強制するため、エスカレートする危機に直面しています。 CloudFlareのような企業。 diasporaプロジェクトは、AIボットがすべてのトラフィックの40％近くを占めていることを記録しました。
別のケースでは、開発者のギットサーバーは、Amazon’s Ai Botに無制限のクロールのために不可欠になりました。 開発者は、BOTが標準的なWeb除外ルールを無視したことを指摘しました。 pagure.io 、Fedora-Hosted Repository System、最近、IPの影響を受けたすべてのIp afsige of a scringiate to a a a a cifigate to a a a cimetiateインフラストラクチャ。 AI Labyrinthは、アクセスを完全に否定するのではなく、実際のWebページに目に見えないリンクを埋め込みます。これにより、ボットは本物のように見えるが実際の価値がないコンテンツのおとりの環境にボットを誘います。 CloudFlareは、この戦術はAI BotsのWebサイト制限への違反を活用し、非効率的な努力をもたらすと説明しました。 2024年7月のAIボットブロッキングツールや2024年9月のボット検出更新など、CloudFlareの以前のアンチスクラフィングの取り組みに続きます。これにより、監視ダッシュボードとAIクローラー追跡の強化が提供されました。 Perplexity AIは、帰属なしにニュースコンテンツを削り取り、再発行するという申し立てに直面しています。 2024年6月、開発者は、明示的なrobots.txt除外と追加のファイアウォールルールにもかかわらず、Perplexity AIが自分のWebサイトのブロックセクションにアクセスしたと報告しました。
AIスクレイピングに関する法的議論は激化しており、一部の開発者はコンピューターの不正および虐待行為（CFAA）
「認可者が後に明示的に認可を取り消すと、たとえば、被告が受け取って理解する明確な書面による停止と惑星コミュニケーションを通じて、その時点から被告が認可されないことを検討します。」
一部の開発者はすでに行動を起こしています。 1人のイライラしたメンテナーハッカーニュースで述べられている欺ception? CloudFlareのAI Labyrinthは、ボット緩和の処理方法の根本的な変化を表していますが、同様のアプローチが広く採用されるかどうかはまだわかりません。地平線上の訴訟とより厳しい規制により、オープンソースメンテナーとサイバーセキュリティ企業は、AI企業がデータ収集戦略を変更することを余儀なくされるかどうか、または積極的なアプローチを継続するかどうかを確認しています。