Seorang analis pencarian Google telah membunyikan alarm: proliferasi yang cepat dari agen AI dan taktik perajin web mereka yang sering agresif berada pada lintasan untuk menciptakan kemacetan internet yang signifikan dan berpotensi membanjiri server situs web yang dibangun oleh beberapa hal. Masalah yang muncul ini, ia memperingatkan, dapat menurunkan kinerja web untuk pengguna dan meregangkan infrastruktur digital yang menopang dunia online.
Bahkan Google, dengan infrastrukturnya yang luas, menghadapi tantangan dalam mengelola efisiensi merangkak. Illyes mengakui bahwa sementara Google berusaha mengurangi jejaknya yang merangkak, menunjukkan bahwa tuntutan produk AI baru sering menangkal upaya ini.
Ke depan, basis pengguna web itu sendiri mungkin mengalami perubahan mendasar. Pengamat industri Jeremiah Owyang, berbicara kepada
Dia lebih lanjut menyarankan ini mewakili transformasi yang signifikan untuk Internet, menjelaskan bahwa”lapisan data dan lapisan konten akan terpisah dan memisahkan dari lapisan presentasi,”secara mendasar mengubah bagaimana konten web diakses dan dikonsumsi. Pengaruh AI. Untuk bisnis. Mengabaikan munculnya agen AI risiko penurunan visibilitas dan penurunan yang signifikan dalam lalu lintas organik. Ketika Web terus berkembang, pemilik situs web didesak untuk secara proaktif menilai infrastruktur mereka, memperkuat kontrol akses di luar robot. TXT, mengoptimalkan kiasan basis data, dan memantau lalu lintas yang sedang dalam pemantauan yang dikenakan untuk diferensiasi. Inisiatif seperti Common Crawl, yang merangkak web dan membagikan data secara publik untuk mengurangi lalu lintas yang berlebihan, juga disebutkan oleh ilinya sebagai model potensial untuk masa depan yang lebih berkelanjutan.
