การทดสอบความปลอดภัยร่วมของมานุษยวิทยาเปิดเผยข้อบกพร่องที่น่าตกใจในรุ่น AI คู่แข่ง

การประเมินข้าม การทดสอบแบบจำลองของมานุษยวิทยาของ Openai เผยให้เห็นถึงการแบ่งปรัชญาโดยเฉพาะอย่างยิ่งการแลกเปลี่ยนระหว่างความถูกต้องตามข้อเท็จจริงและยูทิลิตี้ของผู้ใช้ ในการทดสอบที่ออกแบบมาเพื่อวัดภาพหลอนโมเดล Claude ของมานุษยวิทยาแสดงให้เห็นถึงอัตราการปฏิเสธที่สูงมากลดลงที่จะตอบคำถามได้มากถึง 70% ของคำถาม

วิธีการระมัดระวังนี้จัดลำดับความสำคัญการหลีกเลี่ยงความไม่ถูกต้องเหนือสิ่งอื่นใด แบบจำลองดูเหมือนจะตระหนักถึงความไม่แน่นอนของตัวเองอย่างมากโดยเลือกที่จะพูดว่า”ฉันไม่รู้”มากกว่าความเสี่ยงที่ให้ข้อมูลเท็จ ในกรณีหนึ่ง Sonnet 4 ปฏิเสธที่จะตั้งชื่อสถานที่จัดงานแต่งงานของบุคคลสาธารณะในพื้นที่ความเป็นส่วนตัวแม้ว่าข้อมูลจะได้รับการรายงานอย่างกว้างขวาง

ในทางตรงกันข้ามโมเดลของ Openai ก็เต็มใจที่จะให้คำตอบมากขึ้น กลยุทธ์นี้ส่งผลให้เกิดการตอบสนองที่ถูกต้องโดยรวมมากขึ้นเพิ่มยูทิลิตี้ของพวกเขา อย่างไรก็ตามมันมีค่าใช้จ่ายในอัตราที่สูงขึ้นอย่างมีนัยสำคัญของข้อผิดพลาดจริงหรือภาพหลอนในสภาพแวดล้อมการทดสอบที่ควบคุมซึ่งมีการ จำกัด แบบจำลองโดยเฉพาะจากการใช้เครื่องมือภายนอกเช่นการท่องเว็บ

ภาวะที่กลืนไม่เข้าคายไม่ออกนั้นไม่ได้มีเพียงด้านเดียว ในขณะที่โมเดลของมานุษยวิทยาปฏิเสธการทดสอบภาพหลอนมากขึ้นรายงานของมานุษยวิทยาพบว่ารูปแบบการใช้เหตุผล O3 ของ OpenAi อาจมีแนวโน้มที่จะถูกปฏิเสธอย่างระมัดระวังมากเกินไปในบริบทที่แตกต่างกัน ตัวอย่างเช่นเมื่อได้รับมอบหมายให้ทำงานด้านความปลอดภัยทางไซเบอร์เป็นประจำในการจำลอง O3 ปฏิเสธที่จะมีส่วนร่วมอย่างต่อเนื่องแม้จะมีคำขอที่เป็นพิษเป็นภัย

การแลกเปลี่ยนนี้แสดงถึงภาวะที่กลืนไม่เข้าคายไม่ออกหลักในการจัดตำแหน่ง AI ในขณะที่ Wojciech Zaremba ของ Openai บอกกับ TechCrunch โซลูชั่นในอุดมคติน่าจะเป็น“ ที่ไหนสักแห่งที่อยู่ตรงกลาง” ที่แนะนำโมเดลของ OpenAI ควรปฏิเสธมากขึ้นในขณะที่มานุษยวิทยาสามารถพยายามตอบได้มากขึ้น รายงานร่วมแสดงให้เห็นว่าห้องปฏิบัติการชั้นนำของอุตสาหกรรมได้รับคำตอบที่แตกต่างกันมากสำหรับคำถามนั้นโดยมีผลกระทบที่สำคัญสำหรับผู้ใช้ที่ต้องตัดสินใจว่าแบบจำลองใดที่จะไว้วางใจในงานใด

ขั้นตอนแรกที่ไม่สมบูรณ์ แต่จำเป็น

ทั้งสอง บริษัท พวกเขายอมรับว่าการทดสอบขึ้นอยู่กับสถานการณ์เทียมที่ไม่ได้สะท้อนการใช้งานในโลกแห่งความจริงอย่างสมบูรณ์แบบ วิทยาศาสตร์ของการจัดตำแหน่ง AI ยังคงอยู่ในสภาพที่เพิ่งเกิดขึ้นและแบบฝึกหัดเหล่านี้เป็นตัวแทนของความพยายามในช่วงต้นที่ไม่สมบูรณ์ในการสร้างมาตรฐานที่ได้มาตรฐาน

ห้องปฏิบัติการระบุว่าแบบจำลองบางครั้งสามารถรับรู้ได้ว่าพวกเขากำลังได้รับการประเมินอาจเปลี่ยนแปลงพฤติกรรมของพวกเขา มานุษยวิทยายังยกความกังวล“ ปืนของ Chekhov”: แบบจำลองอาจประพฤติตัวไม่เหมาะสมในการทดสอบเพียงเพราะสถานการณ์ทำให้ดูเหมือนว่าเป็นบทบาทที่คาดหวัง นอกจากนี้ความแตกต่างทางเทคนิคในวิธีการทดสอบแบบจำลองอาจมีความด้อยโอกาสบางรุ่น

แม้จะมีข้อบกพร่อง แต่การทำงานร่วมกันก็ถูกวางกรอบเป็นจุดเริ่มต้นที่สำคัญ ผู้นำจากห้องปฏิบัติการทั้งสองแสดงความปรารถนาที่จะดำเนินการเป็นหุ้นส่วนต่อไปและทำให้การตรวจสอบข้ามห้องปฏิบัติการเป็นเรื่องธรรมดามากขึ้น นักวิจัยด้านความปลอดภัยของมานุษยวิทยา Nicholas Carlini กล่าวว่า“ เราต้องการเพิ่มความร่วมมือทุกที่ที่เป็นไปได้ในเขตแดนด้านความปลอดภัยและพยายามทำสิ่งนี้ที่เกิดขึ้นเป็นประจำ”