นักวิจัยด้านความปลอดภัยได้เปิดเผยข้อบกพร่องที่สำคัญใน ChatGPT ของ OpenAI ซึ่งแสดงให้เห็นว่าเอกสาร’พิษ’เดียวสามารถใช้ในการขโมยข้อมูลที่ละเอียดอ่อนจากบัญชี Google Drive ที่เชื่อมต่อของผู้ใช้หรือบัญชี Microsoft OneDrive การโจมตีที่ได้รับการขนานนามว่า’Agentflayer’โดย Zenity บริษัท รักษาความปลอดภัยเป็นประโยชน์จากการแสวงหาประโยชน์จากการคลิก
เทคนิคนี้ถูกเปิดเผยในการประชุม Black Hack Hacker เมื่อวันที่ 8 กรกฎาคมโดยนักวิจัย Michael Bargury และ Tamir Ishay Sharbat มันใช้คำแนะนำที่เป็นอันตรายที่ซ่อนอยู่ภายในเอกสาร เมื่อผู้ใช้ขอให้ Chatgpt สรุป AI ได้รับคำสั่งอย่างลับๆเพื่อค้นหาและ exfiltrate ข้อมูล
การโจมตีด้วยการฉีดทันทีทางอ้อมนี้จะเปลี่ยนคุณสมบัติการผลิตที่สำคัญเป็นเครื่องมือขโมยที่มีศักยภาพ มันเน้นถึงอันตรายของการเชื่อมโยงโมเดล AI ที่ทรงพลังกับข้อมูลส่วนบุคคลและองค์กรความสามารถ OpenAI ได้ขยายตัวตั้งแต่เดือนมิถุนายนเพื่อเพิ่มความลึกขององค์กร
ช่วงเวลาที่ ChatGPT ประมวลผลไฟล์คำแนะนำที่ซ่อนอยู่จะมีความสำคัญกว่าการจี้โฟลว์การทำงานของ AI แทนที่จะสรุป AI ได้รับคำสั่งให้ทำการตรวจสอบที่เก็บข้อมูลคลาวด์ที่เชื่อมต่อของผู้ใช้สำหรับข้อมูลที่ละเอียดอ่อนเช่นคีย์ API หรือไฟล์ที่เป็นความลับ
พรอมต์ที่ซ่อนอยู่เป็นมาสเตอร์คลาสในวิศวกรรมสังคมสำหรับ AIS มันบอกเล่าเรื่องราวที่น่าสนใจของ“ นักพัฒนาแข่งกับกำหนดเวลา” ที่ต้องการคีย์ API อย่างเร่งด่วนการเล่าเรื่องที่ออกแบบมาเพื่อข้ามการจัดตำแหน่งความปลอดภัยของ LLM และชักชวนให้ทำงานที่ละเอียดอ่อน
เริ่มต้น: Exfiltration นักวิจัยได้คิดค้นวิธีการที่ฉลาดในการแอบดูข้อมูลที่ผ่านการป้องกันของ Openai พรอมต์ที่ซ่อนอยู่สั่งให้ Chatgpt แสดงภาพ markdown จาก URL ที่ควบคุมโดยผู้โจมตี
อย่างมากข้อมูลที่ถูกขโมยจะถูกฝังเป็นพารามิเตอร์ภายใน URL ภาพนี้ เมื่ออินเทอร์เฟซฝั่งไคลเอ็นต์ของ ChatGPT ดึงข้อมูลรูปภาพเพื่อแสดงผลคำขอที่มีข้อมูลที่ถูกขโมยจะถูกส่งโดยตรงไปยังเซิร์ฟเวอร์ของผู้โจมตีโดยทำการขโมย
เทคนิคการแสดงผลการทำเครื่องหมายนี้เป็นที่รู้จักกันดี โมเดล AI นั้นไม่ได้ส่งข้อมูล แต่จะส่งคืน Markdown ที่เป็นอันตรายไปยังเบราว์เซอร์ของผู้ใช้ซึ่งทำให้การร้องขอไปยังเซิร์ฟเวอร์ของผู้โจมตี
ทีมงานของ Zenity พบว่าเทคนิคนี้ข้ามตัวกรอง ‘URL_SAFE’ ของ OpenAI ซึ่งเป็นการบรรเทาผลกระทบที่ออกแบบมาเพื่อป้องกันการเรนเดอร์ บายพาสใช้งานได้เพราะนักวิจัย ใช้โดเมนที่เชื่อถือได้-การจัดเก็บข้อมูล Azure ของ Microsoft ผลผลิต
ช่องโหว่ทำให้เกิดความตึงเครียดพื้นฐานระหว่างพลังของ AI และความปลอดภัย Zenity CTO Michael Bargury เน้น ความรุนแรงของการโจมตี “ เราแสดงให้เห็นว่าสิ่งนี้เป็นแบบไม่คลิกอย่างสมบูรณ์เราแค่ต้องการอีเมลของคุณเราแบ่งปันเอกสารกับคุณและนั่นก็คือใช่แล้วนี่เป็นสิ่งที่แย่มาก” นอกจากนี้เขายังสังเกตเห็นความหมายที่กว้างขึ้นสำหรับอุตสาหกรรม “ มันทรงพลังอย่างไม่น่าเชื่อ แต่ตามปกติกับ AI พลังที่มากขึ้นมาพร้อมกับความเสี่ยงมากขึ้น”
การโจมตีเป็นไปโดยอัตโนมัติทั้งหมดและไม่จำเป็นต้องคลิกจากเหยื่อนอกเหนือจากการอัปโหลดไฟล์เริ่มต้น Bargury อธิบายว่า“ ไม่มีสิ่งใดที่ผู้ใช้ต้องทำเพื่อบุกรุกและไม่มีสิ่งใดที่ผู้ใช้ต้องทำเพื่อให้ข้อมูลออกไปข้างนอก” สิ่งนี้ทำให้มันร้ายกาจเป็นพิเศษเนื่องจากผู้ใช้ได้รับการตอบสนองที่ดูเหมือนปกติโดยไม่รู้ว่ามีการละเมิดเกิดขึ้น
ในการแถลงข่าวเมื่อวันที่ 6 สิงหาคม Zenity เตือนว่าเทคนิค Agentflayer แสดงให้เห็นถึงภัยคุกคามที่แพร่หลายไปยังตัวแทน AI ขององค์กรจำนวนมาก ไม่ใช่แค่ CHATGPT ส่งสัญญาณว่านี่เป็นแนวหน้าใหม่และอันตรายในการต่อสู้เพื่อรักษาความปลอดภัย AI
