AI検索会社Perplexityは、Webセキュリティの巨人Cloudflareからの告発に鋭く反論しました。それは欺cept的な「ステルスクローラー」を使用してウェブサイトのデータを不適切にこすります。 8月5日に発行された公式声明で、CloudFlareのテクニカル分析と呼ばれる困惑は「基本的に不十分です。」
AIスタートアップは、CloudFlareが正当なユーザーが開始したAIエージェントをサードパーティサービスからの無関係なトラフィックと混同したと主張しています。このエスカレートするオンライン紛争は、ユーザー駆動型のAIアシスタントと従来のWebボットの間の重要な区別に集中しており、確立されたWebクローリングのルールに疑問を投げかけています。 href=”https://blog.cloudflare.com/perplexity-is-using-stealth-undeclared-crawlers-to-evade-website-no-crawl-directives/”Target=”_ blank”> Cloudflare公開された詳細なブログ投稿調査は、顧客の苦情によって引き起こされたと伝えられています。これらのユーザーは、Perplexityの公式クローラー、PerplexityBot、Perplexity-Userを明示的にブロックしているにもかかわらず、そのコンテンツはAIサービスによってまだアクセスされていたことに注目しました。 Perplexityは「2つのアプローチ」を採用しています。宣言されたボットがブロックされると、同社は標準のWebブラウザーになりすましている宣言されていないクローラーを展開しているようです。これらのボットは、非公開のIPアドレスを介して回転し、CloudFlareがアクティビティを隠そうとする意図的な試みと呼んだソースの自律システム（ASN）を変更することさえ観察されました。 Chrome/124.0.0.0 Safari/537.36、通常の人間のトラフィックと溶け込むように設計された一般的な文字列。動作を確認するために、CloudFlareは新しいインデックスされていないドメインで制御された実験を実行しました。困惑を見つけると、制限的な「robots.txt」ファイルの背後にある秘密のコンテンツを要約できます。これらの調査結果に応えて、CloudFlareは「検証済みのボット」プログラムから困惑を削除し、ネットワーク全体で動作を積極的にブロックし始めました。 href=”https://x.com/perplexity_ai/status/1952531537385456019″ターゲット=”_ blank”> x に困惑した困惑は、分析を「技術的に欠陥」と「災害」と呼びます。同社の中心的な議論は、CloudFlareがそのテクノロジーを誤解しているということです。これは、従来の「ボット」ではなく、特定のユーザーのクエリでリアルタイムで情報を取得する「ユーザー主導のエージェント」と定義しています。最も指摘された主張は、Browserbaseと呼ばれるサードパーティサービスからのトラフィックのトラフィックの誤った違反です。
同社は、CloudFlareがそのエージェントをサービスからの何百万もの毎日のリクエストと混同したと主張しています。困惑は、「CloudFlareが、サードパーティのクラウドブラウザサービスであるBrowserbaseからの無関係なトラフィックの3〜6mのリクエストと混乱した困惑と見える」と述べています。独自の使用は45,000日のリクエストを下回っています。 CloudFlareによる「基本的なトラフィック分析の失敗」または「CloudFlareには賢い宣伝の瞬間が必要であり、私たち自身の顧客が有用な名前であると考えられていることを示唆しました。」会社の反応は鈍く、セキュリティ会社が悪意のあるスクレーパーから有益なアシスタントに伝えることができない場合、「この論争は、クラウドフレアのシステムが正当なAIアシスタントと実際の脅威を区別するために基本的に不十分であることを明らかにしている」と主張しています。近代的なAIアシスタントがどのように機能するかについての誤解は、この分野の専門知識に対する主張を没収しました。」この激しい交換は、ウェブを形作る深い技術的および哲学的意見の不一致を強調しています。困惑は以前、開発者のロブ・ナイトから批判に直面しており、データ慣行をめぐってBBCから法的脅威を受けています。
紛争は根本的な緊張を強調しています。 AI開発者は膨大な量のデータを必要としていますが、出版社はコンテンツがトラフィックと収益を共食いするサービスに使用されていると考えています。 Cloudflare自身のCEOは、これを出版社にとって「実存的な脅威」と呼んでいます。これにより、一部のSUE AI企業が有利なライセンス取引に署名し、この「武器競争」に応じて、CloudFlareが出版社向けの防御的な武器を構築している
であるSUE AI企業が骨折した景観につながりました。これらのツールには、非準拠ボットを閉じ込めるように設計されたシステム「AI Labyrinth」と、サイトがアクセスを請求できるようにする「Pay Per Crawl」が含まれます。 CloudFlareと困惑の間のハイステークスの対立の結果は、AIとオープンWebの将来の関係の主要な先例となる可能性があります。