โครงสร้างพื้นฐานเว็บยักษ์ใหญ่ Cloudflare ได้เปิดตัวการอัปเดตที่สำคัญสำหรับกฎสามทศวรรษของอินเทอร์เน็ตสำหรับการรวบรวมข้อมูลเว็บ
บริษัท ได้แนะนำนโยบาย”สัญญาณเนื้อหา”ส่วนขยายใหม่สำหรับ `robots.txt` สำนักพิมพ์และ บริษัท AI ที่จัดการกับความกังวลอย่างกว้างขวางเกี่ยวกับการขูดข้อมูลที่ไม่ได้รับการชดเชยซึ่งคุกคามรูปแบบทางเศรษฐกิจของเว็บที่เปิดอยู่
ความขัดแย้งไม่ได้เป็นเพียงแค่กฎหมาย แต่เป็นเทคนิค บริษัท AI หลายแห่งถูกกล่าวหาว่าเพิกเฉยต่อ `robots.txt` ทั้งหมด เมื่อเร็ว ๆ นี้ Cloudflare ถูกกล่าวหาว่าเป็น Perplexity AI ว่าใช้“ stealth crawlers” เพื่อข้ามบล็อกของผู้เผยแพร่ซึ่งเป็นข้อเรียกร้องที่ถูกปฏิเสธอย่างรุนแรง ข้อพิพาทเหล่านี้เน้นย้ำถึงความไม่เพียงพอของระบบเกียรติยศเก่า
นโยบายสัญญาณเนื้อหาใหม่ทำงานอย่างไร
นโยบายสัญญาณเนื้อหาของ CloudFlare พยายามทำให้ระบบนี้ทันสมัยโดยการเพิ่มความจำเพาะใหม่ มันทำงานได้โดยการรวมความคิดเห็นที่มนุษย์อ่านได้และคำสั่งที่อ่านได้ของเครื่องใหม่ลงในไฟล์ `robots.txt` ของไซต์โดยตรง
เป้าหมายคือการสร้างมาตรฐานที่ไม่น่าสงสัยสำหรับวิธีการรวบรวมข้อมูลที่สามารถใช้เนื้อหาหลังจากเข้าถึงได้ นโยบายแนะนำสัญญาณที่แตกต่างกันสามสัญญาณ
สัญญาณ `การค้นหา’ช่วยให้เนื้อหาสามารถใช้สำหรับการสร้างดัชนีการค้นหาแบบดั้งเดิมรวมถึงไฮเปอร์ลิงก์และข้อความที่ตัดตอนมาสั้น ๆ แต่ไม่รวมบทสรุป AI-Generated อย่างชัดเจน สัญญาณ `AI-Input` ควบคุมการใช้งานแบบเรียลไทม์ในคำตอบ AI แบบกำเนิดเช่น Generation Retrieval-Augmented (RAG) ในที่สุดการควบคุมสัญญาณ `ai-train` ไม่ว่าจะสามารถใช้เนื้อหาในการฝึกอบรมหรือปรับแต่งโมเดล AI ได้หรือไม่ ผู้ให้บริการเว็บไซต์สามารถแสดงการตั้งค่าของพวกเขาด้วยบรรทัดที่เรียบง่ายและคั่นด้วยเครื่องหมายจุลภาคเช่น `เนื้อหาสัญญาณ: search=ใช่, ai-train=no`.
a ได้รับอนุญาต”ใช่”ได้รับอนุญาตในขณะที่”ไม่”หากมีการละเว้นสัญญาณนโยบายระบุว่าเจ้าของเว็บไซต์ ไม่ได้รับอนุญาตหรือ จำกัด การอนุญาต เพื่อส่งเสริมการใช้งาน CloudFlare ได้เปิดตัวนโยบายภายใต้ใบอนุญาต CC0 และให้เครื่องมือเครื่องกำเนิดไฟฟ้าที่ contentsignals.org .
Directive.
ตำแหน่งนี้ไม่เพียง แต่เป็นคำขอที่สุภาพเท่านั้น แต่เป็นการประกาศอย่างมีนัยสำคัญทางกฎหมายของเจตนาของผู้เผยแพร่
เพื่อเร่งการใช้งาน CloudFlare ได้เปิดใช้งานนโยบายมากกว่า 3.8 ล้านโดเมน บริษัท จงใจทิ้งสัญญาณ `AI-Input` เป็นกลางในการเปิดตัวนี้โดยระบุว่าไม่ต้องการคาดเดาการตั้งค่าของลูกค้าสำหรับกรณีการใช้งานที่เฉพาะเจาะจงนั้น การย้ายครั้งนี้มีประสิทธิภาพสร้างการยกเลิกการฝึกอบรม AI อย่างมากโดยค่าเริ่มต้น
การปฏิบัติตามปริศนาและคำถามของ Google
ในขณะที่ขั้นตอนสำคัญความสำเร็จของนโยบาย เช่นเดียวกับโปรโตคอลต้นฉบับสัญญาณเนื้อหาเป็นคำแนะนำและไม่บังคับใช้ในทางเทคนิค
นักแสดงที่ไม่ดีบางคนอาจเพิกเฉยต่อกฎใหม่ นี่คือเหตุผลที่ CloudFlare จัดทำนโยบายว่าเป็น”การจองสิทธิ์”การเสริมสร้างตำแหน่งทางกฎหมายของผู้จัดพิมพ์
ความคิดริเริ่มนี้เป็นสิ่งล่าสุดในการป้องกันที่เพิ่มขึ้นของ CloudFlare สำหรับผู้จัดพิมพ์ ก่อนหน้านี้ บริษัท ได้เปิดตัว“ AI Labyrinth” เครื่องมือในการดักจับบอทที่ไม่สอดคล้องในเนื้อหาของเนื้อหาปลอมและกำลังทดสอบ“ จ่ายต่อการรวบรวมข้อมูล” เพื่อให้ไซต์เรียกเก็บเงินสำหรับการเข้าถึง
Cloudflare CEO Matthew Prince จุดยึดยังคงเป็น Google คำให้การในระหว่างการทดลอง Landmark US v. Google Antitrust Trial เปิดเผยว่า บริษัท ใช้ระบบการเลือกไม่รับแยกต่างหากสำหรับผลิตภัณฑ์ค้นหาหลักและรุ่น Gemini AI
ผู้บริหารของ Google Deepmind ยืนยันว่าเนื้อหาที่ไม่ได้ฝึกอบรมการค้นหา
จนกว่าผู้เล่นรายใหญ่เช่น Google จะใช้มาตรฐานใหม่หรือเสนอการควบคุมที่ชัดเจนยิ่งขึ้นผู้เผยแพร่จะยังคงอยู่ระหว่างการมองเห็นและการควบคุมและการต่อสู้เพื่ออนาคตของเว็บจะดำเนินต่อไป
