Ang isang analyst ng paghahanap sa Google ay tumunog ang alarma: ang mabilis na paglaganap ng mga ahente ng AI at ang kanilang madalas na agresibo na mga taktika na gumagapang sa web Hamon. Ang umuusbong na isyu na ito, binalaan niya, ay maaaring magpabagal sa pagganap ng web para sa mga gumagamit at pilitin ang digital na imprastraktura na sumasailalim sa online na mundo. Lubos na ang kilos ng mga bot na kumukuha ng mga web page. Sa halip, ang pangunahing pag-aalala, ayon kay Illyes, ay nakasalalay sa kasunod, mapagkukunan-intensive na mga gawain ng pag-index at pagproseso ng malawak na halaga ng data na kinokolekta ng mga ahente na ito. Na ang ilang mga bot ng AI ay nagtangkang mag-crawl sa buong internet sa napakagandang maikling oras. Nabanggit ni Illyes ang mga pagtatangka upang i-scan ang web nang mas kaunti sa 25 segundo, na madaling mapuspos ang mga server. Ang masidhing aktibidad na ito ay nagtataas ng mga kritikal na katanungan tungkol sa tumataas na pag-igting sa pagitan ng hindi nasusukat na pangangailangan ng AI para sa data at kalusugan ng pagpapatakbo ng Internet. Kinuha ni Illyes ang damdamin sa pamamagitan ng pagsasabi,”Ang lahat at ang aking lola ay naglulunsad ng isang crawler”
Gayunpaman, ang pagtaas ng pag-crawl ay may mga kahihinatnan. I-block ang ilang mga nagbibigay ng ulap. Ang laki ng trapiko na ito ay malaki; Ang data mula sa Vercel, na iniulat din ng Search Engine Journal, ay nagpakita ng GPTBot ng Openai na nabuo ng 569 milyong mga kahilingan sa isang buwan, na may kasamang claude ng antropiko para sa 370 milyon. Ang mga crawler, na may isang makabuluhang bahagi na nagmula sa mga scraper ng AI. Ang hindi pagsunod na ito ay nangangahulugang ang mga may-ari ng website ay may limitadong kontrol sa kung aling mga bots na ma-access ang kanilang nilalaman at kung gaano kadalas.
Bilang tugon sa mga hamong ito, ang mga kumpanyang tulad ng Cloudflare ay umuunlad na sopistikadong mga countermeasures. Noong Marso, ipinakilala ng CloudFlare ang AI Labyrinth, isang sistema na idinisenyo upang aktibong linlangin at maubos ang hindi awtorisadong mga crawler ng AI sa pamamagitan ng pag-akit sa kanila sa mga mazes ng nilalaman na nabuo ng awtomatiko. Ang pangangatuwiran ng kumpanya ay kung ang mga scraper ng AI ay abala sa pag-ubos ng mga pekeng pahina, hindi sila kumukuha ng tunay na halaga. Noong Hulyo 2024, inilunsad ng kumpanya ang isang komplimentaryong tool na naglalayong tulungan ang mga website na hadlangan ang mga bot ng AI. Sinundan ito noong Setyembre 2024 ng suite ng”Bot Management”, na nagbibigay ng live na pagsubaybay at mas maraming butil na kontrol sa pag-access sa bot. Iginiit ng Cloudflare CEO na si Matthew Prince na sa kanilang system,”Ang bawat AI crawler ay mai-flag, kahit na ang mga gumagamit ng disguises.”ng mga robot.txt laban sa mga tinukoy na scraper ay nananatiling isang pangunahing isyu. Ang firm ng paglilisensya ng nilalaman na Tollbit, tulad ng iniulat ng Ang bagong stack , hinulaan na”ang pinaka-karaniwang bisita sa isang website sa hinaharap ay marahil ay hindi pupunta sa mga tao, ngunit ang mga ahente ay sumuko mga tao.”
Impluwensya ng AI. Para sa mga negosyo. Ang pagwawalang-bahala sa pagtaas ng mga panganib ng AI ay nabawasan ang kakayahang makita at isang makabuluhang pagbagsak sa organikong trapiko. Ang mga inisyatibo tulad ng Karaniwang Crawl, na gumagapang sa web at nagbabahagi ng data sa publiko upang mabawasan ang kalabisan na trapiko, ay binanggit din ng mga illyes bilang isang potensyal na modelo para sa isang mas napapanatiling hinaharap.