นักวิเคราะห์การค้นหาของ Google ส่งเสียงเตือน: การแพร่กระจายอย่างรวดเร็วของตัวแทน AI และกลยุทธ์การคลานเว็บที่ก้าวร้าวของพวกเขามักจะอยู่บนเส้นทางเพื่อสร้างความแออัดอินเทอร์เน็ตที่สำคัญ ปัญหาที่เกิดขึ้นใหม่นี้เขาเตือนว่าสามารถลดประสิทธิภาพการทำงานของเว็บสำหรับผู้ใช้และเครียดโครงสร้างพื้นฐานดิจิตอลที่หนุนโลกออนไลน์
ปัญหาของปัญหา Illyes อธิบายระหว่าง”href=”https://ww.youtube.com เพียงการกระทำของบอทหน้าเว็บ แต่ข้อกังวลหลักตาม Illyes นั้นอยู่กับงานที่ใช้ทรัพยากรอย่างมากในการจัดทำดัชนีและประมวลผลข้อมูลจำนวนมหาศาลตัวแทน AI เหล่านี้รวบรวม
กระแสการรวบรวมข้อมูล AI ของ AI
การเพิ่มขึ้นของการวิเคราะห์ความหลากหลาย อย่างไรก็ตามการคลานที่เพิ่มขึ้นนี้มาพร้อมกับผลที่ตามมา
ตัวอย่างเช่นวารสารเครื่องมือค้นหารายละเอียดว่า SourceHut เผชิญกับ
บริษัท การวัด AD Doubleverify ตัวรวบรวมข้อมูลที่มีส่วนสำคัญมาจาก Scrapers AI การผสมผสานปัญหาผู้รวบรวมข้อมูล AI จำนวนมากมักจะไม่สนใจโปรโตคอล Robots.txt ซึ่งเป็นมาตรฐานเว็บที่มีมายาวนาน การไม่ปฏิบัติตามนี้หมายถึงเจ้าของเว็บไซต์มีการควบคุมที่ จำกัด ว่าบอทใดที่เข้าถึงเนื้อหาของพวกเขาและบ่อยแค่ไหน กิจกรรมที่เพิ่มขึ้นนี้จากเอ็นจิ้น AI บอทที่ไม่ใช่การค้นหาสามารถใช้ทรัพยากรเซิร์ฟเวอร์ซึ่งอาจส่งผลกระทบต่อความสามารถของบอทค้นหาที่ถูกต้องและการลดลง การตอบสนองต่อความท้าทายเหล่านี้ บริษัท อย่าง CloudFlare ได้พัฒนามาตรการตอบโต้ที่ซับซ้อนมากขึ้น ในเดือนมีนาคม CloudFlare ได้แนะนำ AI Labyrinth ซึ่งเป็นระบบที่ออกแบบมาเพื่อทำให้เข้าใจผิดและไอเสียที่ไม่ได้รับอนุญาตโดยไม่ได้รับอนุญาต AI Crawlers โดยล่อลวงพวกเขาให้กลายเป็นเขาวงกตของเนื้อหาที่สร้างขึ้นอัตโนมัติ การให้เหตุผลของ บริษัท คือหากเครื่องขูด AI กำลังยุ่งอยู่กับการใช้หน้าปลอมพวกเขาจะไม่สกัดคุณค่าที่แท้จริง นี่ไม่ใช่การจู่โจมครั้งแรกของ Cloudflare ในการป้องกัน AI Bot ในเดือนกรกฎาคม 2567 บริษัท ได้เปิดตัวเครื่องมือฟรีเพื่อช่วยเว็บไซต์บล็อกบอท AI ตามมาในเดือนกันยายน 2567 โดยชุด”การจัดการบอท”ซึ่งให้การตรวจสอบสดและการควบคุมการเข้าถึงบอทมากขึ้น Matthew Prince CEO Cloudflare ยืนยันว่าด้วยระบบของพวกเขา“ AI Crawler ทุกคนได้รับการตั้งค่าสถานะแม้กระทั่งผู้ที่ปลอมตัว” บริษัท ยังอธิบายถึงวิธีการแก้ปัญหาที่เพิ่มขึ้นในฐานะ ความไร้ประสิทธิภาพของ robots.txt กับ scrapers ที่กำหนดยังคงเป็นประเด็นสำคัญ Tollbit บริษัท ใบอนุญาตเนื้อหาตามรายงานโดย เขาแนะนำเพิ่มเติมว่านี่เป็นการเปลี่ยนแปลงที่สำคัญสำหรับอินเทอร์เน็ตอธิบายว่า”เลเยอร์ข้อมูลและเลเยอร์เนื้อหากำลังจะแยกและแยกออกจากชั้นนำเสนอ”โดยพื้นฐานแล้วการเปลี่ยนแปลงเนื้อหาของเว็บ อิทธิพลของ AI สำหรับธุรกิจ การเพิกเฉยต่อการเพิ่มขึ้นของความเสี่ยงของตัวแทน AI ลดลงและการลดลงอย่างมีนัยสำคัญของการจราจรอินทรีย์ ในขณะที่เว็บยังคงพัฒนาอย่างต่อเนื่องเจ้าของเว็บไซต์ได้รับการกระตุ้นให้ประเมินโครงสร้างพื้นฐานเชิงรุกเสริมสร้างการควบคุมการเข้าถึงที่เพิ่มขึ้น ความคิดริเริ่มเช่นการรวบรวมข้อมูลทั่วไปซึ่งรวบรวมข้อมูลเว็บและแบ่งปันข้อมูลสาธารณะเพื่อลดการรับส่งข้อมูลซ้ำซ้อนถูกกล่าวถึงโดยอิลลีสว่าเป็นแบบจำลองที่มีศักยภาพสำหรับอนาคตที่ยั่งยืนมากขึ้น
