Ang
AI search firm na pagkalito ay mahigpit na nagre-rebutted na mga akusasyon mula sa web security higanteng CloudFlare na gumagamit ito ng mapanlinlang na”stealth crawler”upang hindi wastong mag-scrape ng data ng website. Sa isang pampublikong pahayag na inilabas noong Agosto 5, ang pagkalito na tinawag na Cloudflare’s Technical Analysis na”panimula ay hindi sapat.”Ang tumataas na online na pagtatalo ay nakasentro sa isang mahalagang pagkakaiba sa pagitan ng mga katulong na hinihimok ng gumagamit ng AI at tradisyonal na mga web bots, na pinag-uusapan ang itinatag na mga patakaran ng web crawling. href=”https://blog.cloudflare.com/perplexity-is-using-stealth-undeclared-crawler-to-evade-website-mo-crawl-directives/”target=”_ blangko”> Inilathala ng Cloudflare ang isang detalyadong post sa blog Inaakusahan ang pagkakasala ng paglabag sa mga itinatag na pamantayan sa web. Ang pagsisiyasat ay naiulat na na-trigger ng mga reklamo ng customer. Ang mga gumagamit na ito ay nabanggit na sa kabila ng malinaw na pagharang ng mga opisyal na crawler ng Perplexity, Perplexitybot at Perplexity-user, ang kanilang nilalaman ay na-access pa rin ng serbisyo ng AI. gumagamit ng isang”two-pronged diskarte.”Kapag ang ipinahayag na mga bot nito ay naharang, ang kumpanya ay lilitaw na mag-deploy ng mga hindi natukoy na mga crawler na nagpapanggap sa mga karaniwang web browser. Ang mga bot na ito ay naobserbahan na umiikot sa pamamagitan ng mga hindi nakalista na mga IP address at kahit na binabago ang kanilang mga mapagkukunan na autonomous system (ASN) sa tinatawag na CloudFlare na isang sadyang pagtatangka na itago ang kanilang aktibidad. Safari/537.36, isang pangkaraniwang string na idinisenyo upang timpla ng normal na trapiko ng tao. Upang kumpirmahin ang pag-uugali, ang CloudFlare ay nagpatakbo ng isang kinokontrol na eksperimento sa mga bago, hindi naka-domain na mga domain, ang paghahanap ng pagkalito ay maaaring magbubuod ng lihim na nilalaman na inilagay sa likod ng mga paghihigpit na `robots.txt` file. Bilang tugon sa mga natuklasang ito, tinanggal ng CloudFlare ang pagkalugi mula sa”napatunayan na bot”na programa at nagsimulang aktibong hinaharangan ang pag-uugali sa buong network nito. href=”https://x.com/perplexity_ai/status/1952531537385456019″target=”_ blangko”> naguguluhan na pinaputok muli sa x , na tinatawag ang pagsusuri na”technically flawed”at”disqualifying.”Ang pangunahing argumento ng kumpanya ay ang hindi pagkakaunawaan ng Cloudflare sa teknolohiya nito, na tinukoy nito bilang”mga ahente na hinihimok ng gumagamit”na kumukuha ng impormasyon sa real-time para sa isang tiyak na query ng gumagamit, hindi tradisyonal na”bots”. Ang pinakatanyag na pag-angkin ay ang sinasabing maling pag-aalinlangan ng trapiko mula sa isang serbisyo ng third-party na tinatawag na BrowserBase. Sinabi ng Perplexity,”Lumilitaw na nalilito ang Cloudflare na may 3-6m araw-araw na mga kahilingan ng hindi nauugnay na trapiko mula sa BrowserBase, isang serbisyo ng cloud browser ng third-party…”, ang pagpansin sa sarili nitong paggamit ay nasa ilalim ng 45,000 araw-araw na mga kahilingan. Iminungkahi nito ang alinman sa isang”pangunahing pagkabigo sa pagsusuri ng trapiko”ni Cloudflare o na”ang Cloudflare ay nangangailangan ng isang matalinong sandali ng publisidad at kami-ang kanilang sariling customer-na-happened na maging isang kapaki-pakinabang na pangalan upang makuha ang mga ito.”Ang tugon ng kumpanya ay namumula, na pinagtutuunan na kung ang isang security firm ay hindi masasabi sa isang kapaki-pakinabang na katulong mula sa isang nakakahamak na scraper,”ang kontrobersya na ito ay nagpapakita na ang mga sistema ng Cloudflare ay panimula na hindi sapat para sa pagkilala sa pagitan ng mga lehitimong katulong sa AI. Hindi pagkakaunawaan kung paano gumagana ang mga modernong katulong sa AI, nawalan ka ng anumang pag-angkin sa kadalubhasaan sa puwang na ito.”Ang pinainit na palitan na ito ay nagtatampok ng malalim na teknikal at pilosopikal na hindi pagkakasundo na humuhubog sa web. Nauna nang nahaharap ang Peclexity mula sa developer na si Robb Knight at nakatanggap ng ligal na banta mula sa BBC sa mga kasanayan sa data nito. Ang mga developer ng AI ay nangangailangan ng malawak na halaga ng data, ngunit nakikita ng mga publisher ang kanilang nilalaman na ginagamit sa mga serbisyo ng kuryente na cannibalize ang kanilang trapiko at kita. Ang sariling CEO ng Cloudflare ay tinawag na ito ng isang”umiiral na banta”para sa mga publisher. Ito ay humantong sa isang bali na tanawin ng media kung saan ang ilang mga kumpanya ng Sue Ai habang ang iba ay pumirma sa kapaki-pakinabang na mga deal sa paglilisensya. Kasama sa mga tool na ito ang”AI Labyrinth,”isang sistema na idinisenyo upang ma-trap ang mga hindi sumusunod na bots, at”magbayad ng bawat pag-crawl,”na nagpapahintulot sa mga site na singilin para sa pag-access. Ang kinalabasan ng salungatan ng mataas na pusta sa pagitan ng CloudFlare at pagkalito ay malamang na magtatakda ng isang pangunahing nauna para sa hinaharap na ugnayan sa pagitan ng AI at ang bukas na web.