Web Security Giant CloudFlareは、AIの検索会社が、欺cept的な「ステルスクローラー」を使用してWebサイトのルールをバイパスし、コンテンツをこすり落としたと非難しました。レポートでは、CloudFlare状態の困惑は、パブリッシャーブロックを無視するための一般的なブラウザのアイデンティティでボットをマスクします。この動きは、AI企業とコンテンツクリエイターの戦いにおける大きなエスカレーションを示しており、Perplexityの積極的な成長戦略を激しい精査の下に置いています。 href=”https://blog.cloudflare.com/perplexity-is-using-stealth-undeclared-crawlers-to-evade-website-no-crawl-directives/”Target=”_ blank”> 8月4日ブログ投稿は、顧客の訴えによって促されました。これらのユーザーは、「robots.txt」の両方のディレクティブと、perplexityの公式に宣言されたクローラー、「perplexitybot」と「perplexity-user」の両方を実装しているにもかかわらず、それらのコンテンツはまだAIサービスによってアクセスされていると報告しました。 src=”https://winbuzzer.com/wp-content/uploads/2025/05/perplexity-pro-labs.jpg”>
セキュリティ会社は、困惑が2つのアプローチを採用していると主張しています。宣言されたクローラーがブロックされると、同社は標準のWebブラウザーになりすましている宣言されていないボットを展開しているようです。これらのステルスクローラーは、非公開のIPアドレスを介して回転し、CloudFlareがアクティビティを隠し、出版社の好みを回避する意図的な試みとして説明するソース自律システム（ASN）を変更することさえ観察されました。 （KHTML、Geckoのように）Chrome/124.0.0.0 Safari/537.36。この一般的な文字列は、Chromeを使用してMACOSデバイスからの通常の人間のトラフィックと溶け込むように設計されており、正当なユーザーに潜在的に影響を与えることなくブロックすることが困難です。 CloudFlareは、この動作はRFC 9309で概説されているような確立されたWebクロール規範に違反していると主張します。彼らは、公開されていない新しいインデックスのないドメインを登録し、それらに非常に制限的な「robots.txt」ファイルを配置し、すべてのクローラーを許可しました。これらの予防策にもかかわらず、彼らがこれらのドメインの秘密のコンテンツについて困惑のAIを照会したとき、サービスは詳細かつ正確な要約を提供し、ブロックをうまくバイパスしたことを示しています。 CloudFlareは、このアクティビティが数万のドメインにわたって観察され、1日あたり数百万の要求に相当し、機械学習を使用して回避的なクローラーを追跡していることに注目しました。同様のテスト中に、Openaiの「Chatgpt-User」クローラーは「robots.txt」ファイルを正しく取得し、許可したときにアクティビティを停止しました。また、CloudFlareが誠実に行動する行儀の良いボットオペレーターの「適切な対応」と説明したネットワークレベルのブロックも尊重しました。 2024年6月、開発者のRobb Knightは、AI企業がNGINXを使用して「robots.txt」ルールとより厳しいサーバーレベルのブロックの両方を実装しているにもかかわらず、AI企業が自分のサイト、Radweb、MacStoriesをどのように削ったかを詳細に文書化しました。ナイトは、ボットが宣言された識別子を使用していないのではなく、彼の防御を迂回するための一般的なユーザーエージェントを使用していることを発見しました。 2025年6月、BBCは著作権侵害と評判の害をめぐる法的措置を脅かし、困惑がジャーナリズムの逐語的に再現されたと主張した。 Perplexityは鋭い反論を発行し、主張を「操作」と呼び、Googleの市場優位性を保護しようとしたと放送局を非難した。これは、The New York TimesやNews Corpなどの出版社からの法的課題の増加リストに加わりました。 CloudFlare CEOのMatthew Princeは、AIからの紹介トラフィックの減少を「実存的な脅威」と呼んでおり、人類のAIによって削られたページの比率が訪問者を送り返したことを明らかにしました。この感情は、News/Media AllianceのCEOであるDanielle Coffeyによって反響されました。彼は、「リンクは出版社のトラフィックと収益を与えた最後の償還の質の質でした。現在、Googleはそれを復活させずに使用しています。困惑に対する最新のアクションの前に、同社はすでに洗練された対策を展開していました。これらには、「AI Labyrinth」は、偽のコンテンツの迷路に非準拠のボットを閉じ込めてリソースを無駄にする欺ceptionツールに含まれます。また、「支払いが必要な」「支払いが必要」のステータスコードを復活させるサイトがアクセスできるようにするシステムである「クロールあたりの支払い」が含まれます。 AI企業が止まるには強すぎるという考えを却下し、彼は有名に言った、「そしてあなたは私に言っている、私はパロアルトでのCコーポレーションである程度のオタクを止めることはできないか?」伝えられるところによると、このスタートアップの評価は2025年7月に180億ドルに急増し、2024年初頭の数字からの大成功がありました。この成長は、積極的な拡張戦略によって促進されます。
Prplexityは、200ドル/月の「Max」サブスクリプションや独自の「Comet」AIブラウザを含む一連のプレミアム製品を発売しました。 CEOのAravind Srinivasは、Cometが「Chromeが長年にわたって発送していないコアブラウジングの改善」を提供し、ユーザーの「思考パートナー」としてフレーミングすると約束しました。インドの通信大手のAirtelとの最近のパートナーシップは、3億6,000万人の顧客に無料の1年間のPrplexity Proを提供します。これは、主要市場を獲得する大胆な動きです。これはモトローラとの同様の取引に続きますが、Googleの独占禁止法契約によって制限されていました。
しかし、この急速な拡大には他の懸念が伴います。 Appknoxによる2025年4月のセキュリティ監査は、PerplexityのAndroidアプリに「重要な脆弱性」にフラグを立てました。 AI開発者は、モデルをトレーニングするために膨大な量のデータを必要としますが、出版社はコンテンツがトラフィックと収益を共食いするサービスに使用されていることを確認します。 New York TimesはOpenaiを訴えていますが、同時にAmazonとの主要なコンテンツライセンス契約に署名しました。
Perplexityの状況は、この業界全体の闘争をカプセル化しています。同時に、AI検索の境界を押し広げる有名なイノベーターと、長年のWebプロトコルを破ったと非難された物議を醸す俳優です。この紛争および同様の紛争の結果は、次世代のインターネットのルールを定義する可能性があります。