Google เปิดตัว Vaultgemma ซึ่งเป็นรูปแบบ AI สถานที่สำคัญที่ได้รับการฝึกฝนเพื่อความเป็นส่วนตัว

Google ได้เปิดตัว Vaultgemma ซึ่งเป็นรุ่นเปิดพารามิเตอร์ 1 พันล้านตัวใหม่ที่ทำเครื่องหมายขั้นตอนที่สำคัญไปข้างหน้าในการรักษาความเป็นส่วนตัว

AI ประกาศเมื่อวันที่ 12 กันยายนโดยการวิจัยและทีมงาน DeepMind VaultGemma เป็นแบบจำลองที่ใหญ่ที่สุด

>>>

โมเดลน้ำหนักและรายงานทางเทคนิคตอนนี้มีให้สำหรับนักวิจัยใน กอดใบหน้า .

ชายแดนใหม่ใน AI Privacy HREF=”https://research.google/blog/vaultgemma-the-worlds-mo-pable-differative-private-llm”target=”_ blank”> การเปิดตัว Vaultgemma เผชิญหน้าโดยตรงหนึ่งในความท้าทายที่ยิ่งใหญ่ที่สุดในการพัฒนา AI LLMs แสดงให้เห็นว่ามีความอ่อนไหวต่อการท่องจำซึ่งพวกเขาสามารถทำซ้ำข้อมูลที่ละเอียดอ่อนหรือส่วนบุคคลที่พวกเขาได้รับการฝึกฝนโดยไม่ได้ตั้งใจ

วิธีการของ Vaultgemma ให้การรับประกันความเป็นส่วนตัวแบบ end-to-end จากพื้นดิน สิ่งนี้ทำให้มั่นใจได้ว่าแบบจำลองพื้นฐานถูกสร้างขึ้นเพื่อป้องกันการท่องจำรายละเอียดเฉพาะทำให้สามารถเรียนรู้รูปแบบทั่วไปโดยไม่ได้รับอิทธิพลจากข้อมูลชิ้นเดียวมากเกินไป

ภายใต้ประทุน: สถาปัตยกรรมและการฝึกอบรมของ Vaultgemma มันมี 26 เลเยอร์และใช้ความสนใจหลายครั้ง (MQA)

ตัวเลือกการออกแบบที่สำคัญคือการลดความยาวลำดับเป็นโทเค็น 1024 ซึ่งช่วยจัดการข้อกำหนดการคำนวณที่เข้มข้นของการฝึกอบรมส่วนตัว

กระบวนการฝึกอบรมทั้งหมด target=”_ blank”> การไล่ระดับสีแบบสโตแคสติกส่วนตัวที่แตกต่างกัน (DP-SGD) ด้วยการรับประกันอย่างเป็นทางการของ (ε≤ 2.0, Δ≤ 1.1E-10) เทคนิคนี้จะเพิ่มเสียงรบกวนที่สอบเทียบในระหว่างการฝึกอบรมเพื่อปกป้องตัวอย่างการฝึกอบรมส่วนบุคคล

การพัฒนาของโมเดลได้รับคำแนะนำโดยชุดใหม่ของ“ กฎหมายการปรับขนาด DP” Google กล่าว การวิจัยนี้มีกรอบสำหรับการสร้างสมดุลระหว่างการแลกเปลี่ยนที่ซับซ้อนระหว่างพลังงานคำนวณงบประมาณความเป็นส่วนตัวและยูทิลิตี้แบบจำลอง การฝึกอบรมได้ดำเนินการในกลุ่มขนาดใหญ่ของชิป TPUV6E 2048

ราคาของความเป็นส่วนตัว: ประสิทธิภาพและมาตรฐาน

ความเป็นส่วนตัวที่เข้มงวดนี้มีค่าใช้จ่าย มีการแลกเปลี่ยนโดยธรรมชาติระหว่างความแข็งแกร่งของการรับประกันความเป็นส่วนตัวและยูทิลิตี้ของโมเดล

ในมาตรฐานการศึกษามาตรฐาน Vaultgemma ต่ำกว่าประสิทธิภาพเมื่อเทียบกับโมเดลที่ไม่ได้อยู่ในระดับที่ใกล้เคียงกันเช่น Gemma-3 1b.

ความกว้าง=”1024″ความสูง=”547″src=”data: image/svg+xml; nitro-empty-id=mty0odo4ndy=-1; base64, phn2zyb2awv3qm94psiwidagmtaynca1ndci ihdpzhropsixmdi0iibozwlnahq9iju0nyigeg1sbnm9imh0dha6ly93d3cudzmub3jnlziwmdavc3znij48l3n2zz4=”>

การเปรียบเทียบแสดงให้เห็นว่าวิธีการฝึกอบรมส่วนตัวในปัจจุบันผลิตแบบจำลองที่มียูทิลิตี้ที่สำคัญแม้ว่าจะมีช่องว่างอยู่ก็ตาม มันเน้นเส้นทางที่ชัดเจนสำหรับการวิจัยในอนาคต

การรับประกันการทดสอบ: ไม่มีการท่องจำที่ตรวจพบได้

การตรวจสอบความถูกต้องสูงสุดของวิธีการของ Vaultgemma นั้นอยู่ในความต้านทานต่อการท่องจำ Google ดำเนินการทดสอบเชิงประจักษ์เพื่อวัดแนวโน้มของโมเดลในการทำซ้ำลำดับจากข้อมูลการฝึกอบรมซึ่งเป็นวิธีการที่มีรายละเอียดในรายงานทางเทคนิคของ Gemma ก่อนหน้า

โมเดลได้รับการแจ้งเตือนด้วยคำนำหน้าจากคลังการฝึกอบรมเพื่อดูว่ามันจะสร้างคำต่อท้ายที่สอดคล้องกันหรือไม่ ผลการวิจัยพบว่า: Vaultgemma ไม่แสดงการท่องจำที่ตรวจพบไม่ว่าจะเป็นที่แน่นอนหรือโดยประมาณ การค้นพบนี้ตรวจสอบประสิทธิภาพของกระบวนการฝึกอบรมก่อนการฝึกอบรม DP-SGD

โดยการเปิดตัวแบบจำลองและวิธีการของมัน Google มีจุดมุ่งหมายเพื่อลดอุปสรรคในการสร้างเทคโนโลยีการรักษาความเป็นส่วนตัว การเปิดตัวจะช่วยให้ชุมชนมีพื้นฐานที่ทรงพลังสำหรับรุ่นต่อไปของ AI ที่ปลอดภัยรับผิดชอบและเป็นส่วนตัว