Steven Adler ผู้ซึ่งใช้เวลาสี่ปีในการทำงานด้านการวิจัยที่เกี่ยวข้องกับความปลอดภัยได้วิพากษ์วิจารณ์ความเร็วที่องค์กรต่างๆกำลังติดตามข่าวกรองทั่วไป (AGI)
หลังจากออกจาก บริษัท ในช่วงกลาง พฤศจิกายน, Adler นำไปที่ x เพื่อแสดงความกลัวเกี่ยวกับอนาคตของมนุษยชาติหากระบบ AI ดำเนินต่อไป
ในชุดโพสต์เขาเสนอดูอย่างตรงไปตรงมาในสิ่งที่เขาเห็นว่าเป็น”เชื้อชาติ”เพื่อพัฒนา AI ที่ทรงพลังยิ่งขึ้นแม้จะมีความท้าทายด้านความปลอดภัยที่ไม่ได้รับการแก้ไข://winbuzzer.com/wp-content/uploads/2024/12/openai-profit-money.webp”>
“ข่าวส่วนตัวบางอย่าง: หลังจากสี่ปีทำงานด้านความปลอดภัยทั่ว @openai ,”Adler เขียน
“ มันเป็นการขับขี่ที่ดุเดือดที่มีบทมากมาย-ความสามารถที่เป็นอันตราย Evals, Agent Safety/Control, AGI และตัวตนออนไลน์ ฯลฯ-และฉันจะพลาดหลายส่วนของมัน”หลังจากการสะท้อนนี้เกี่ยวกับเวลาของเขาที่ บริษัท เขาถ่ายทอดความเข้าใจเกี่ยวกับความรวดเร็วของ AI ที่กำลังพัฒนา
“โดยสุจริตฉันค่อนข้างกลัวกับการพัฒนา AI ในทุกวันนี้เมื่อฉันคิดว่าฉันอยู่ที่ไหน’จะยกครอบครัวในอนาคตหรือประหยัดเท่าไหร่เพื่อการเกษียณอายุฉันไม่สามารถช่วยได้ แต่สงสัยว่า: มนุษยชาติจะทำให้มันเป็นจุดนั้นหรือไม่?”
ที่เกี่ยวข้อง: สีเขียว Beret ใช้ chatgpt สำหรับ Cybertruck Blast ตำรวจปล่อยแชทล็อก
การออกจาก OpenAI: แรงจูงใจที่สำคัญ
การตัดสินใจของ Adler การจองที่เขาเริ่มแสดงในเดือนสุดท้ายของเขาที่นั่น
ในฐานะคนที่เกี่ยวข้องโดยตรงในการประเมินความสามารถของระบบ AI ที่อยู่ระหว่างการพัฒนาเขาเป็นคนที่มีความซับซ้อนในการทำให้แบบจำลองปลอดภัยก่อนที่จะเปิดตัวสาธารณะ
แม้ว่าเขาจะพบว่างานกระตุ้นและกล่าวถึงว่าเขาจะ“ พลาดหลายส่วนของมัน” Adler ในที่สุดก็รู้สึกว่าถูกบังคับให้พูดออกมาเกี่ยวกับแรงผลักดันของอุตสาหกรรมซึ่งเขาเห็นว่ารวดเร็วเกินไปสำหรับความสะดวกสบาย
เขายอมรับว่าความคืบหน้าของตัวเองไม่ใช่ปัญหาหลัก แต่เป็นการขาดวิธีการที่พิสูจน์แล้วเพื่อให้แน่ใจว่า AI ขั้นสูงสอดคล้องกับวัตถุประสงค์ของมนุษย์
ที่เกี่ยวข้อง: Openai เปิดตัว Chatgpt Gov สำหรับหน่วยงานรัฐบาลกลางของสหรัฐอเมริกาที่มีการจัดการข้อมูลที่ปลอดภัย
คำถามของการจัดตำแหน่ง-การจัดทำระบบ AI เพื่อปฏิบัติตามแนวทางที่เป็นจริยธรรมและสังคมที่ยอมรับได้ คือการแข่งขันที่จะบรรลุ Agi อาจเกินความพยายามที่จะแก้ปัญหาการจัดตำแหน่งโดยสังเกตในโพสต์ของเขา“ IMO การแข่งขัน AGI เป็นการพนันที่มีความเสี่ยงมากโดยมีข้อเสียอย่างมาก เราแข่งมีโอกาสน้อยที่ทุกคนพบหนึ่งในเวลา”
ความรุนแรงของการใช้ถ้อยคำของเขานั้นถูกจับคู่โดยนักร้องประสานเสียงของผู้เชี่ยวชาญที่แบ่งปันการจองดังกล่าวเกี่ยวกับการปล่อยระบบล้ำสมัยโดยไม่ต้องตรวจสอบอย่างเด็ดขาด Cuts Dev ที่สร้างปืนไรเฟิล Sentry Robotic ที่ขับเคลื่อนด้วย CHATGTT
สัญญาณเริ่มต้นของความเสี่ยง AI
วิถีของ AI ได้กระตุ้นเสียงเตือนจากภายในและภายนอกโอเพ่น ด้วยพนักงานบางคนทำให้เกิดความกังวลเกี่ยวกับความรวดเร็วของ บริษัท ที่ปรับขนาดโมเดล
การออกเดินทางของ Adler เพิ่มน้ำหนักให้กับการสนทนาเหล่านี้มากขึ้น เขามีที่นั่งแถวหน้าเพื่อทดสอบคุณสมบัติและความสามารถใหม่ ๆ และเขาเห็นความท้าทายในการสร้างความมั่นใจว่าระบบ AI ไม่ได้สร้างเนื้อหาที่เป็นอันตรายหรือเปิดเผยข้อมูลส่วนตัวโดยไม่ตั้งใจ
ในขณะที่เขายกย่องความเชี่ยวชาญของเพื่อนร่วมงานของเขา Adler แย้งว่าจำเป็นต้องเน้นการวิจัยการจัดตำแหน่งมากขึ้นเมื่อเทียบกับการเปิดตัวผลิตภัณฑ์ใหม่
ที่เกี่ยวข้อง: Ilya Sutskever เรียกร้องให้โพสต์ข้อมูล AI Revolution:“ มีอินเทอร์เน็ตเพียงแห่งเดียวเท่านั้น”
ในการอธิบายสาเหตุพื้นฐานของความไม่สบายใจของเขา Adler กล่าวว่า“ วันนี้ดูเหมือนว่าเราจะติดอยู่ในสมดุลที่เลวร้ายจริงๆ หากห้องปฏิบัติการต้องการพัฒนา AGI อย่างมีความรับผิดชอบคนอื่น ๆ ยังสามารถตัดมุมเพื่อติดตามได้อาจเป็นหายนะ
ความกังวลของเขาคือแรงกดดันในการแข่งขันเชื้อเพลิงการวิจัย AI อาจบดบังการพิจารณาทางจริยธรรมและนโยบายที่จะเป็นแนวทางในการสร้างและนำระบบเหล่านี้มาใช้
โดยชี้ไปที่สถานการณ์โดยรวม-ซึ่งไม่มีห้องปฏิบัติการเดียวที่ต้องการที่จะแซงหน้า-Adler เน้นถึงความเสี่ยงของการแข่งขัน AI อาวุธ AI ทั่วโลกที่ตีแผ่ได้เร็วกว่าหน่วยงานกำกับดูแลหรือแม้แต่นักวิจัยเองก็สามารถจัดการได้
แรงกดดันในการแข่งขันและการเรียกร้องให้มีการควบคุม
ผู้สังเกตการณ์ในอุตสาหกรรมหลายคนแบ่งปันมุมมองของ Adler ว่าการแข่งขัน AI ทั่วโลกอาจแซงหน้ากลยุทธ์ที่มุ่งเน้นการป้องกันผลที่ไม่ได้ตั้งใจ
Deepseek ของจีนซึ่งเพิ่งเปิดตัวโมเดลการให้เหตุผล R1 ที่ทรงพลังและซีรีย์โมเดล Janus Multimodal ที่เอาชนะ Openai และ Dall-e 3 ของ Openai ด้วยทรัพยากรที่ จำกัด มากเป็นตัวอย่างของความเข้มของการแข่งขันนี้ องค์กรที่ตั้งใจจะเสี่ยงต่อการถูกครอบงำหากดำเนินการอย่างระมัดระวัง
ที่เกี่ยวข้อง: Openai ผลักดันกลยุทธ์ AI ที่มุ่งเน้นในสหรัฐอเมริกาเพื่อตอบโต้อิทธิพลของจีน
นักวิจัยที่เชื่อมต่อกับอนาคตของสถาบันชีวิตยังเน้นถึงภาวะที่กลืนไม่เข้าคายไม่ออกนี้ ดัชนีความปลอดภัย AI 2024 เพื่อแสดงให้เห็นว่านักพัฒนาที่สำคัญรวมถึง OpenAI และ Google DeepMind ขาดกรอบการทำงานที่ชัดเจนสำหรับการจัดการภัยคุกคามที่มีอยู่โดยแบบจำลองที่มีความสามารถสูง
ข้อเสนอด้านกฎระเบียบได้เริ่มขึ้นในสหรัฐอเมริกาและต่างประเทศ ยังไม่มีกฎชุดเดียวที่ได้รับการยอมรับอย่างกว้างขวาง ผู้เชี่ยวชาญบางคนเปรียบสถานการณ์ปัจจุบันกับวันแรก ๆ ของเทคโนโลยีชีวภาพเมื่อรัฐบาลก้าวเข้ามาพร้อมกับแนวทางการทดลองและการเปิดตัวตลาดในที่สุด
ผู้นำด้านเทคโนโลยีเช่น Max Tegmark โต้แย้ง การกำกับดูแลที่สอดคล้องกันและโปร่งใส แทนที่จะวิ่งไปสู่การพัฒนาหนึ่งครั้งหลังจากนั้นโดยไม่ต้องบัญชีอย่างเต็มที่สำหรับข้อผิดพลาดทางจริยธรรม
การจัดตำแหน่งโดยรอบคอบและความพยายามในการบรรเทาอื่น ๆ
ภายใน OpenAI พยายามที่จะจัดการกับข้อกังวลเหล่านี้ ได้รวมการวิจัยเกี่ยวกับการจัดตำแหน่งโดยไตร่ตรองวิธีการที่ออกแบบมาเพื่อฝังเหตุผลด้านความปลอดภัยลงในโครงสร้างของระบบ AI
วิธีการขึ้นอยู่กับการปรับแต่งการปรับแต่ง (SFT) และการเรียนรู้เสริมแรง (RL) เพื่อจัดตำแหน่งการตอบสนอง AI AI ด้วยแนวทางจริยธรรมและกฎหมายที่ชัดเจน ผู้เสนอเทคนิคหวังว่ามันจะสามารถลดพฤติกรรมที่ไม่พึงประสงค์เช่นการสร้างเนื้อหาที่เป็นอันตรายหรือคำแนะนำสำหรับกิจกรรมที่ผิดกฎหมายโดยให้ AI อ้างอิงมาตรฐานที่มนุษย์สร้างขึ้นในเวลาจริง
ยังคงถามคำถามว่าการแก้ไขทางเทคนิคเพียงอย่างเดียวสามารถติดตามความสามารถของ AI ได้เร็วแค่ไหนหรือไม่และห้องปฏิบัติการจะลงทุนทรัพยากรการคำนวณเพียงพอที่จะปรับแต่งโซลูชั่นเหล่านี้ก่อนที่จะแข่งเพื่อปรับใช้รุ่นใหม่
Adler เองยังคงสนใจในโครงการดังกล่าวอย่างระมัดระวัง แต่เขายืนยันว่าจำเป็นต้องมีการป้องกันหลายสาย
ในโพสต์สุดท้ายของเขาก่อนที่จะก้าวถอยหลังเขาเขียนว่า“ สำหรับสิ่งต่อไปฉันจะสนุกกับการหยุดพักสักหน่อย แต่ฉันอยากรู้อยากเห็น: คุณเห็นอะไรเป็น ความคิดที่สำคัญและถูกทอดทิ้งที่สุดในความปลอดภัย/นโยบายของ AI? ฉันรู้สึกตื่นเต้นอีกครั้ง: วิธีการควบคุมการตรวจจับการวางแผนและกรณีความปลอดภัย อย่าลังเลที่จะ DM หากซ้อนทับความสนใจของคุณ”
ในโพสต์เดียวกันนั้นเขาส่งสัญญาณว่าการทำงานร่วมกันทั่วทั้งอุตสาหกรรมอาจเป็นประโยชน์โดยชี้ให้เห็นว่าความพยายามที่โดดเดี่ยวนั้นมีโอกาสน้อยที่จะสร้างมาตรการความปลอดภัยที่แข็งแกร่งและเป็นสากล
เส้นทางที่ไม่แน่นอนข้างหน้า
การสลายตัวของทีม Superalignment ของ Openai-เมื่อเปิดเผยต่อสาธารณชนด้วยการศึกษาวิธีการรักษา Superintelligent AI ภายใต้การควบคุมที่มีประสิทธิภาพ วิธีที่ดีที่สุดในการสร้างความคิดริเริ่มด้านความปลอดภัย
ในขณะเดียวกันคำแถลงผู้แจ้งเบาะแสเกี่ยวกับนโยบายภายในที่ จำกัด รวมกับการออกเดินทางที่มีชื่อเสียงสูงเพิ่มเติมเพิ่มความตึงเครียดให้กับคำถามว่า OpenAI และโคตรของมันสามารถสร้างความสมดุลให้กับความทะเยอทะยานของพวกเขากับการกำกับดูแลที่รอบคอบ
ในวงกว้างขึ้น คำอธิบายของ Adler แสดงให้เห็นว่านักวิจัยในระดับแนวหน้าของการพัฒนา AI มีการแก้ไขปัญหาที่สัญญาทางเทคโนโลยีและความกังวลที่มีอยู่
ในขณะที่บางคนเช่น Yann Lecun ของ Meta ยืนยันว่า AI ขั้นสูงอาจแก้ปัญหาวิกฤตการณ์ระดับโลกที่สำคัญอื่น ๆ-ผู้ที่อยู่ในหมู่พวกเขา-กลับใจไม่สบายใจเกี่ยวกับอนาคตที่ระบบเหล่านี้เหนือกว่าการควบคุมของมนุษย์หากความปลอดภัยของพวกเขาไม่ได้รับการจัดลำดับความสำคัญ
ไม่ว่าจะนำไปสู่ฉันทามติอุตสาหกรรมที่แข็งแกร่งขึ้นเกี่ยวกับ AI ที่รับผิดชอบหรือบังคับให้หน่วยงานของรัฐบาลก้าวเข้ามายังคงที่จะเห็นและในขณะนี้ความเร็วที่รวดเร็วยังคงไม่ถูกตรวจสอบ
