Công ty tư vấn toàn cầu Deloitte đang phải đối mặt với sự giám sát chặt chẽ sau khi thừa nhận họ đã sử dụng AI sáng tạo trong một báo cáo trị giá 440.000 đô la cho chính phủ Úc.
Công ty sẽ hoàn trả 97.000 đô la sau khi phân tích do AI cung cấp tạo ra các trích dẫn bịa đặt và các lỗi thực tế nghiêm trọng, làm dấy lên một cuộc tranh luận về tính liêm chính trong tư vấn và việc sử dụng sai mục đích AI.
Báo cáo này là một đánh giá quan trọng về tình hình thực tế của quốc gia. hệ thống tuân thủ phúc lợi, được Bộ Lao động và Quan hệ Nơi làm việc (DEWR) ủy quyền vào tháng 12 năm 2024. Chủ đề này rất nhạy cảm, sau vụ bê bối “Robodebt” khét tiếng của đất nước, trong đó đặt tính chính xác lên hàng đầu.
Sự cố này hiện được coi là một nghiên cứu điển hình rõ ràng về rủi ro khi triển khai AI sáng tạo mà không có sự giám sát chặt chẽ của con người. Nó nhấn mạnh những khó khăn ngày càng tăng của việc tích hợp các mô hình ngôn ngữ lớn vào công việc chuyên môn và đặt ra những câu hỏi cấp bách về trách nhiệm giải trình khi các công cụ AI được sử dụng để định hình chính sách công.
“Ảo giác”trong Chú thích cuối trang
Những sai sót của báo cáo lần đầu tiên được vạch trần vào tháng 8 bởi Tiến sĩ Christopher Rudge, một học giả của Đại học Sydney, người có bài đánh giá pháp lý, từng dòng một đã phát hiện ra những gì ông ấy gọi một sự vi phạm đáng kể về tính chính trực và lòng tin.
Là một chuyên gia trong lĩnh vực quản lý, Tiến sĩ. Rudge đã ở vị trí độc nhất để phát hiện những điểm bất thường. Chỉ riêng anh ấy đã tìm thấy hơn 20 lỗi trong các chú thích cuối trang, một mẫu ngay lập tức bị báo động đỏ.
Sự nghi ngờ của anh ấy đã được xác nhận khi anh ấy gặp phải những trích dẫn được cho là của chính đồng nghiệp của mình. Tiến sĩ Rudge giải thích rằng khi ông thấy những cuốn sách mà ông chưa bao giờ nghe nói đến được cho là của các đồng nghiệp của mình, ông nhanh chóng kết luận rằng chúng là bịa đặt.
Đây không phải là những lỗi chính tả nhỏ mà là toàn bộ những tác phẩm không tồn tại—một dấu hiệu điển hình của một mô hình AI tự tin phát minh ra thông tin để lấp đầy những khoảng trống, một hiện tượng được gọi là “ảo giác”.
Một trong những ví dụ rõ ràng nhất liên quan đến giáo sư luật Lisa Burton Crawford. Trong khi cuốn sách thực tế của cô ấy có tựa đề “Pháp quyền và Hiến pháp Úc,” báo cáo của Deloitte đã trích dẫn một tác phẩm ma có tên “Quy tắc pháp quyền và công lý hành chính ở bang phúc lợi, một nghiên cứu của Centerlink.”
Khi được hỏi liệu cuốn sách có tồn tại hay không, Giáo sư Crawford khẳng định rõ ràng rằng: “Tôi chưa bao giờ viết một cuốn sách có tựa đề đó.”
Sự bịa đặt của AI mở rộng sâu vào các trích dẫn pháp lý, tạo ra sự thiếu chính xác nghiêm trọng về mặt thực tế. Báo cáo đã tham chiếu sai một vụ án quan trọng của tòa án liên bang, “Deanna Amato v Commonwealth”, và trích dẫn sai thẩm phán bằng một đoạn hư cấu dài từ 4 đến 5 dòng.
Theo Tiến sĩ Rudge, không có đoạn nào như vậy tồn tại trong phán quyết thực tế. Trong phiên bản phát hành lại, Deloitte thừa nhận báo cáo “có sai sót” liên quan đến thủ tục tố tụng của Amato.
Hàng làm suy yếu độ tin cậy của báo cáo, AI đã phát minh ra một bài phát biểu và gán nó cho “Tư pháp Natalie Kuis Perry”.
Trên thực tế, tên của thẩm phán là Melissa và bài phát biểu được đề cập không tồn tại. Mô hình tạo ra thông tin hợp lý nhưng hoàn toàn sai lệch này cho thấy sự thất bại nghiêm trọng trong quy trình giám sát con người và đảm bảo chất lượng của Deloitte.
Hoàn tiền một phần và Kêu gọi minh bạch
Sau sự phản đối kịch liệt của công chúng, Deloitte đã phát hành lại báo cáo vào ngày 3 tháng 10. Một phụ lục đã được thêm vào, tiết lộ việc sử dụng mô hình Azure OpenAI GPT-4o. Công ty khẳng định những phát hiện và khuyến nghị cốt lõi của báo cáo vẫn đúng đắn, mặc dù họ đã đồng ý hoàn trả khoản tiền 97.000 USD cuối cùng trong hợp đồng.
Phản ứng của chính phủ rất sắc bén. Trong phiên điều trần tại Thượng viện, các quan chức DEWR gọi công việc này là “không thể chấp nhận được”. Một người phát ngôn đã nhấn mạnh sự thiếu sót trong đảm bảo chất lượng, tuyên bố, “người của tôi không nên kiểm tra kỹ bên thứ ba chú thích của nhà cung cấp.”
Thượng nghị sĩ Đảng Lao động Deborah O’Neill đã đưa ra lời khiển trách đặc biệt gay gắt, tuyên bố,”Deloitte có vấn đề về trí tuệ con người. Điều này sẽ thật nực cười nếu nó không quá đáng tiếc.”
Cô ấy gợi ý rằng nếu đây là chất lượng của công việc được tạo ra thì các cơ quan chính phủ có thể sẽ tốt hơn nếu đăng ký AI trực tiếp. Nhận xét,”có lẽ thay vì một công ty tư vấn lớn, những người mua sắm sẽ tốt hơn nếu đăng ký đăng ký ChatGPT.”
Mối nguy hiểm của”AI Slop”trong Chính sách công
Tập này nêu bật vấn đề mới nổi về”AI Slop”—nội dung chất lượng thấp, sai sót hoặc vô nghĩa do AI và được trình bày dưới dạng tác phẩm thực tế. Khi nội dung như vậy xâm nhập vào các tài liệu nhằm hướng dẫn chính sách của chính phủ, rủi ro sẽ tăng lên rất nhiều.
Dr. Rudge cảnh báo rằng bản thân những sửa chữa đã bộc lộ nhiều điều. Ông lưu ý rằng các tài liệu tham khảo giả mạo đơn lẻ thường được thay thế bằng nhiều tài liệu tham khảo mới, gợi ý “tuyên bố ban đầu được đưa ra trong phần nội dung của báo cáo không dựa trên bất kỳ nguồn bằng chứng cụ thể nào.”
Vụ bê bối cũng nêu bật một thách thức ngày càng tăng: phát hiện văn bản do AI tạo ra. Mặc dù tồn tại các công cụ để xác định văn bản AI nhưng hiệu quả của chúng vẫn còn gây tranh cãi.
Điều này tạo ra tình huống trong đó các báo cáo sai sót có thể được chấp nhận là sự thật, dẫn đến việc đưa ra quyết định kém ở cấp cao nhất.
