AI søkefirma Perplexity har skarpt tilbakevist beskyldninger fra websikkerhetsgiganten CloudFlare om at den bruker villedende”stealth crawlers”for å feile skrape nettsteddata. I en offentlig uttalelse utstedt 5. august, kalt forvirring kalt Cloudflares tekniske analyse”grunnleggende utilstrekkelig.”
AI-oppstarten påstår Cloudflare forvirret sine legitime brukerinitierte AI-agenter med ikke-relatert trafikk fra en tredjepartstjeneste. Denne opptrappende online tvist sentrerer seg om et avgjørende skille mellom brukerdrevne AI-assistenter og tradisjonelle nettboter, og stiller spørsmål ved de etablerte reglene for webcrawling.
Cloudflare beskylder forvirring av villedende”stealth crawling”
Konflikten til å antyde”stealth crawling”
konflikten til å anta”stealth crawling” href=”https://blog.cloudflare.com/perplexity-is-sing-stealth-declared-crawlers-to-Vade-website-no-crawl-directives/”Target=”_ blank”> Cloudflare publiserte en detaljert blogginnlegg anklagende perplexity of the Violating Ons. Etterforskningen ble angivelig utløst av kundeklager. Disse brukerne bemerket at til tross for eksplisitt blokkering av Perplexity offisielle gjennomsøkere, perplexitybot og perplexity-bruker, var innholdet fortsatt tilgang til av AI-tjenesten.
Den primære brukeragenten som ble identifisert var Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWeBkit/537.3 Chrome/124.0.0.0 Safari/537.36, en generisk streng designet for å blande seg med normal menneskelig trafikk. For å bekrefte atferden, kjørte Cloudflare et kontrollert eksperiment på nye, uindekserte domener, å finne forvirring kan oppsummere hemmelig innhold plassert bak restriktive `roboter.txt`-filer.
Rapporter forfatteren Gabriel Corral uttalte,”… vi observerer stealth-crawling fra Perplexity. Som svar på disse funnene fjernet Cloudflare forvirring fra dets”bekreftede bot”-program og begynte aktivt å blokkere oppførselen over nettverket.
perplexity’s tilbakevisning: et tilfelle av feil identitet og mangelfull analyse
en dag senere, Fengsling avfyrt tilbake på x , og kaller analysen”teknisk mangelfull”og”diskvalifisering.”Selskapets kjerneargument er at Cloudflare misforstår teknologien, som den definerer som”brukerdrevne agenter”som henter informasjon i sanntid for en spesifikk brukers spørring, ikke tradisjonelle”roboter”.
Perplexity argumenter Det mest spisse påstanden er den påståtte feiloverskuddet av trafikk fra en tredjepartstjeneste kalt nettleserbase.
Selskapet hevder at Cloudflare forvirret sine agenter med millioner av daglige forespørsler fra tjenesten. Fortredelse uttalte:”Det ser ut til at Cloudflare forvirret forvirring med 3-6 millioner daglige forespørsler om ikke-relatert trafikk fra nettleserbase, en tredjeparts sky nettlesertjeneste…”, og bemerker at sin egen bruk er under 45 000 daglige forespørsler.
Perplexity tilbyr to bitende forklaringer for feilen. Det antydet enten en”grunnleggende trafikkanalysesvikt”av Cloudflare eller at”Cloudflare trengte et smart publisitetsøyeblikk, og vi-deres egen kunde-har fått et nyttig navn for å få dem en.”Selskapets svar var sløvt, og hevdet at hvis et sikkerhetsfirma ikke kan fortelle en nyttig assistent fra en ondsinnet skrape, “Denne kontroversen avslører at Cloudflares system AI-assistenter jobber, du har tapt ethvert krav på kompetanse på dette rommet.”Denne opphetede utvekslingen fremhever de dype tekniske og filosofiske uenighetene som former nettet.
En bredere krig om nettets regler for engasjement
Denne offentlige sammenstøtet er ikke en isolert hendelse, men den siste kampen i en bredere industrikrig. Fengsling har tidligere møtt kritikk fra utvikleren Robb Knight og har mottatt juridiske trusler fra BBC om datapraksis.
Tvisten understreker en grunnleggende spenning. AI-utviklere krever store mengder data, men utgivere ser at innholdet deres blir brukt til strømtjenester som kannibaliserer trafikken og inntektene. Cloudflares egen administrerende direktør har kalt dette en”eksistensiell trussel”for utgivere.
Dette følelsen ble gjentatt av nyhets-/Media Alliance-administrerende direktør Danielle Coffey, som beklaget den nåværende søket og sa at”lenker var den siste forløsende kvaliteten på søket som ga utgivere trafikk og inntekter. Nå tar Google bare innhold og bruker det uten å komme tilbake. Dette har ført til et sprukket medielandskap der noen saksøker AI-firmaer mens andre signerer lukrative lisensavtaler.
Som svar på dette”Arms Race”, har Cloudflare bygget et defensivt arsenal for utgivere. Disse verktøyene inkluderer”AI Labyrinth”, et system designet for å felle ikke-kompatible roboter, og”Pay Per Crawl”, som gjør at nettsteder kan ta betalt for tilgang.
Prince har vært trygg på å håndheve disse nye reglene, berømt å kvitte,”Og du forteller meg, jeg kan ikke stoppe noe med en C-Corporation i Paloal Altero?”Resultatet av konflikten med høy innsats mellom Cloudflare og forvirring vil sannsynligvis gi en stor presedens for det fremtidige forholdet mellom AI og Open Web.