บริษัทที่ปรึกษายักษ์ใหญ่ระดับโลกอย่าง Deloitte กำลังเผชิญกับการตรวจสอบอย่างละเอียดถี่ถ้วนหลังจากยอมรับว่าตนใช้ generative AI ในรายงานมูลค่า 440,000 ดอลลาร์สหรัฐฯ สำหรับรัฐบาลออสเตรเลีย
บริษัทจะจ่ายเงินคืน 97,000 ดอลลาร์สหรัฐฯ หลังจากการวิเคราะห์ที่ขับเคลื่อนด้วย AI ได้สร้างการอ้างอิงที่ปลอมแปลงและข้อผิดพลาดทางข้อเท็จจริงที่สำคัญ ซึ่งจุดประกายให้เกิดการถกเถียงเกี่ยวกับความสมบูรณ์ของการให้คำปรึกษาและการใช้ AI ในทางที่ผิด
รายงานดังกล่าวเป็นการทบทวนสวัสดิการของประเทศอย่างมีวิจารณญาณ ระบบการปฏิบัติตามข้อกำหนด ซึ่งเริ่มดำเนินการในเดือนธันวาคม 2567 โดยกรมการจ้างงานและสถานประกอบการสัมพันธ์ (DEWR) หัวข้อนี้มีความละเอียดอ่อนสูง หลังจากเกิดเรื่องอื้อฉาวเรื่อง”Robodebt”ที่น่าอับอายของประเทศ ซึ่งทำให้เกิดความถูกต้องแม่นยำอย่างยิ่ง
การล่มสลายในขณะนี้ทำหน้าที่เป็นกรณีศึกษาโดยสิ้นเชิงเกี่ยวกับ ความเสี่ยงในการปรับใช้ generative AI โดยปราศจากการควบคุมดูแลของมนุษย์อย่างเข้มงวด โดยเน้นย้ำถึงความเจ็บปวดที่เพิ่มขึ้นในการบูรณาการโมเดลภาษาขนาดใหญ่เข้ากับงานระดับมืออาชีพ และทำให้เกิดคำถามเร่งด่วนเกี่ยวกับความรับผิดชอบเมื่อมีการใช้เครื่องมือ AI เพื่อกำหนดนโยบายสาธารณะ
“ภาพหลอน”ในเชิงอรรถ
ข้อบกพร่องของรายงานถูกเปิดเผยครั้งแรกในเดือนสิงหาคมโดย Dr. Christopher Rudge นักวิชาการจากมหาวิทยาลัยซิดนีย์ ซึ่งการตรวจสอบทางนิติวิทยาศาสตร์ทีละบรรทัดได้เปิดเผยสิ่งที่เขาเรียกว่า การละเมิดความซื่อสัตย์และความไว้วางใจ ที่สำคัญ
ในฐานะผู้เชี่ยวชาญด้านกฎระเบียบ Dr. Rudge อยู่ในตำแหน่งเฉพาะที่สามารถตรวจพบความผิดปกติได้ เขาพบข้อผิดพลาดมากกว่า 20 รายการในเชิงอรรถเพียงอย่างเดียว ซึ่งเป็นรูปแบบที่ทำให้เกิดธงสีแดงทันที
ความสงสัยของเขาได้รับการยืนยันเมื่อเขาพบการอ้างอิงที่เป็นของเพื่อนร่วมงานของเขาเอง ดร. Rudge อธิบายว่าเมื่อเขาเห็นว่าหนังสือเป็นของเพื่อนร่วมงานซึ่งเขาไม่เคยได้ยินมาก่อน เขาก็สรุปอย่างรวดเร็วว่าหนังสือเหล่านั้นถูกสร้างขึ้นมา
นี่ไม่ใช่การพิมพ์ผิดเล็กๆ น้อยๆ แต่เป็นผลงานทั้งหมดที่ไม่มีอยู่จริง ซึ่งเป็นสัญลักษณ์คลาสสิกของแบบจำลอง AI ที่สร้างข้อมูลขึ้นมาอย่างมั่นใจเพื่อเติมเต็มช่องว่าง ปรากฏการณ์ที่เรียกว่า”ภาพหลอน”
หนึ่งในตัวอย่างที่เห็นได้ชัดที่สุดเกี่ยวข้องกับศาสตราจารย์ด้านกฎหมาย Lisa Burton ครอว์ฟอร์ด. ในขณะที่หนังสือจริงของเธอมีชื่อว่า“หลักนิติธรรมและรัฐธรรมนูญของออสเตรเลีย” รายงานของ Deloitte อ้างถึงงานหลอกที่เรียกว่า”หลักนิติธรรมและความยุติธรรมในการบริหารในรัฐสวัสดิการ ซึ่งเป็นการศึกษาของ Centerlink”
เมื่อถูกถามว่ามีหนังสือเล่มนี้อยู่หรือไม่ ศาสตราจารย์ครอว์ฟอร์ดก็ตอบอย่างชัดเจน โดยระบุว่า”ฉันไม่เคยเขียนหนังสือที่มีชื่อนั้นเลย”
การประดิษฐ์ของ AI ขยายลึกไปถึงการอ้างอิงทางกฎหมาย ทำให้เกิดความไม่ถูกต้องในข้อเท็จจริงอย่างร้ายแรง รายงานดังกล่าวอ้างอิงถึงคดีสำคัญในศาลของรัฐบาลกลางอย่างไม่ถูกต้อง “Deanna Amato v Commonwealth” และอ้างถึงผู้พิพากษาผิดด้วยย่อหน้าที่เป็นเท็จสี่ถึงห้าบรรทัด
ตามที่ Dr. Rudge กล่าว ไม่มีย่อหน้าดังกล่าวอยู่ในการพิจารณาคดีจริง ในเวอร์ชันที่ออกใหม่ Deloitte ยอมรับรายงาน”มีข้อผิดพลาด”เกี่ยวกับการดำเนินการของ Amato
นอกจากจะบ่อนทำลายความน่าเชื่อถือของรายงานแล้ว AI ยังประดิษฐ์สุนทรพจน์และอ้างว่าเป็น”ผู้พิพากษา Natalie Kuis Perry”
ในความเป็นจริง ชื่อแรกของผู้พิพากษาคือ Melissa และไม่มีสุนทรพจน์ที่เป็นปัญหา รูปแบบการสร้างข้อมูลที่น่าเชื่อถือแต่เป็นเท็จทั้งหมดนี้ แสดงให้เห็นถึงความล้มเหลวที่สำคัญในกระบวนการประกันคุณภาพและการควบคุมดูแลของมนุษย์ของ Deloitte
การคืนเงินบางส่วนและการเรียกร้องเพื่อความโปร่งใส
หลังจากเสียงโห่ร้องของสาธารณชน Deloitte ได้ออกรายงานอีกครั้งเมื่อวันที่ 3 ตุลาคม มีการเพิ่มภาคผนวกซึ่งเปิดเผยการใช้โมเดล Azure OpenAI GPT-4o บริษัทยืนยันว่าข้อค้นพบหลักของรายงานและข้อเสนอแนะยังคงดีอยู่ แม้ว่าจะตกลงที่จะคืนเงินงวดสุดท้ายเป็นจำนวนเงิน 97,000 ดอลลาร์ของสัญญาก็ตาม
รัฐบาลมีการตอบสนองที่รวดเร็ว ในระหว่างการพิจารณาคดีของวุฒิสภา เจ้าหน้าที่ DEWR เรียกงานนี้ว่า “ไม่เป็นที่ยอมรับ” โฆษกคนหนึ่งเน้นย้ำถึงรายละเอียดในการประกันคุณภาพ ระบุว่า “คนของฉันไม่ควรตรวจสอบซ้ำอีกครั้งหนึ่งในสาม เชิงอรรถของผู้ให้บริการปาร์ตี้”
วุฒิสมาชิกพรรคแรงงาน เดโบราห์ โอนีล กล่าวตำหนิอย่างรุนแรง ระบุว่า “Deloitte มีปัญหาด้านสติปัญญาของมนุษย์ นี่คงจะน่าหัวเราะถ้าไม่เป็นเช่นนั้น น่าเศร้า”
เธอแนะนำว่าหากนี่คือคุณภาพของงานที่ผลิต หน่วยงานของรัฐอาจจะดีกว่าหากสมัครสมาชิก AI โดยตรง โดยกล่าวว่า”บางทีแทนที่จะเป็นบริษัทที่ปรึกษาขนาดใหญ่ ผู้ให้บริการจัดหาน่าจะดีกว่าสมัครสมัครสมาชิก ChatGPT”
อันตรายของ”AI Slop”ในนโยบายสาธารณะ
ตอนนี้ไฮไลต์ ปัญหาที่เกิดขึ้นใหม่ของ “AI slop” ได้แก่ เนื้อหาคุณภาพต่ำ ผิดพลาด หรือไร้สาระที่สร้างโดย AI และนำเสนอเป็นผลงานที่เป็นข้อเท็จจริง เมื่อเนื้อหาดังกล่าวแทรกซึมเข้าไปในเอกสารที่มีจุดมุ่งหมายเพื่อเป็นแนวทางในนโยบายของรัฐบาล ความเสี่ยงก็จะเพิ่มขึ้น
ดร. Rudge เตือนว่าการแก้ไขกำลังเปิดเผยอยู่ เขาตั้งข้อสังเกตว่าข้อมูลอ้างอิงปลอมรายการเดียวมักจะถูกแทนที่ด้วยข้อมูลอ้างอิงใหม่หลายรายการ แนะนำ “คำกล่าวอ้างดั้งเดิม ในส่วนของรายงานไม่ได้อิงจากแหล่งที่มาที่เป็นหลักฐานใดๆ โดยเฉพาะ”
เรื่องอื้อฉาวยังเน้นย้ำถึงความท้าทายที่เพิ่มขึ้น นั่นคือ การตรวจจับข้อความที่สร้างโดย AI แม้ว่าจะมีเครื่องมือในการระบุการเขียนด้วย AI แต่ประสิทธิภาพก็ยังเป็นที่ถกเถียงกันอย่างมาก
สิ่งนี้สร้างสถานการณ์ที่รายงานที่มีข้อบกพร่องสามารถได้รับการยอมรับว่าเป็นข้อเท็จจริง ซึ่งนำไปสู่การตัดสินใจที่ไม่ดีในระดับสูงสุด
