Cục Quản lý Thực phẩm và Dược phẩm Hoa Kỳ, trợ lý AI mới của Hoa Kỳ, El Elsa,, ra mắt vào tháng 6 để cách mạng hóa phê duyệt thuốc, thay vào đó là chế tạo các nghiên cứu không tồn tại và tạo ra nhiều công việc hơn cho các nhà đánh giá con người. Theo báo cáo CNN ngày 23 tháng 7, công cụ này không đáng tin cậy cho các nhiệm vụ quan trọng. Nó nhấn mạnh những rủi ro nghiêm trọng của việc triển khai công nghệ chưa được chứng minh trong vai trò của chính phủ cổ phần cao, một vấn đề vang vọng trong ngành công nghệ.
AI được tiết lộ với sự phô trương. Thư ký HHS Robert F. Kennedy Jr. tuyên bố, Cuộc cách mạng AI đã đến.”Tuy nhiên, đằng sau hậu trường, nhân viên của FDA đã nói với CNN rằng ELSA trình bày sai nghiên cứu và yêu cầu cảnh giác liên tục, làm suy yếu mục đích của nó. Cuộc cách mạng bị ảnh hưởng bởi ảo giác
Ủy viên FDA, Tiến sĩ Marty Makary đã hạ thấp những lo ngại nội bộ, nói với các phóng viên, tôi không nghe thấy những mối quan tâm cụ thể đó, nhưng đó là tùy chọn. Họ không sử dụng Elsa nếu họ không thấy nó có giá trị.”Tuy nhiên, vị trí này vượt qua vấn đề cốt lõi về độ tin cậy đối với một công cụ được đưa ra để tăng hiệu quả và tăng tốc các đánh giá quan trọng. Từ bên trong cơ quan đáng báo động hơn nhiều. Một nhân viên mô tả công cụ này là không đáng tin cậy cho bất kỳ nhiệm vụ nào không thể kiểm tra lại, nói rằng nó ảo giác một cách tự tin.”Một người khác than thở về gánh nặng mới, nói rằng, tôi đã lãng phí rất nhiều thời gian chỉ do sự cảnh giác cao độ mà tôi phải có.”
Công việc bổ sung này bắt nguồn từ những hạn chế cơ bản của Elsa. Nhân viên lưu ý rằng họ không thể truy cập nhiều tài liệu liên quan, như đệ trình công nghiệp bí mật, khiến nó trở nên vô dụng đối với công việc khoa học cốt lõi trong việc xem xét dữ liệu hiệu quả và an toàn thuốc. Khi được kiểm tra với các câu hỏi cơ bản, nó đã trả về câu trả lời sai. Hiện tượng này, trong đó AI tạo ra thông tin tự tin nhưng hoàn toàn sai, là lỗ hổng trung tâm gây khó chịu cho thế hệ mô hình hiện tại.
Vấn đề không phải là duy nhất đối với công cụ tùy chỉnh của FDA. Ngay cả các mô hình thương mại tiên tiến nhất cũng phải chịu đựng nó. Chẳng hạn, Openai đã tiết lộ trong dữ liệu an toàn của riêng mình rằng các mô hình O3 và O4-Mini mới hơn của nó được chế tạo một cách nghịch lý thông tin với tốc độ cao hơn về một số điểm chuẩn so với người tiền nhiệm của họ. Điều này được kết hợp khi một mô hình không thể truy cập vào lý do trước đó của chính nó, buộc nó phải chế tạo các lý do công phu khi được hỏi về quy trình của nó.
Thực tế này đã khiến các chuyên gia cảnh báo rằng công nghệ đang được triển khai sớm. Tiến sĩ Jonathan Chen, giáo sư Đại học Stanford, đã mô tả tình huống thẳng thừng, cảnh báo, ngay bây giờ, nó thực sự là loại phương Tây hoang dã.
Một mô hình thất bại cao trong ngành
Các rắc rối của FDA không phải là một sự cố bị cô lập. Vào tháng 5 năm 2025, nhóm pháp lý cho công ty AI Anthropic đã phải xin lỗi sau khi Claude AI của họ đã phát minh ra một trích dẫn pháp lý cho một vụ kiện bản quyền. Thẩm phán trong trường hợp đã lưu ý thế giới khác biệt giữa một trích dẫn bị bỏ lỡ và ảo giác do AI.”Một lỗi trong Gmail, AI đã được dịch không chính xác các email của Đức, gây ra sự thao túng nội dung đáng kể. Như một nhà phân tích từ các phòng thí nghiệm nước sốt đã lưu ý sau sự cố con trỏ, thì cho người dùng cho biết ‘Phản ứng này được tạo ra bởi AI, có thể là một biện pháp không đầy đủ để phục hồi lòng trung thành của người dùng.”Thực tế
Chuỗi các sai lầm cao cấp này đang buộc một công nghiệp hiệu chỉnh lại ngành công nghiệp rộng lớn hơn. Một nghiên cứu về trung tâm cuộc gọi AI cho thấy nó thường tạo ra nhiều công việc hơn cho các tác nhân của con người. Công ty phân tích Gartner cũng đảo ngược một dự báo quan trọng, bây giờ Dự đoán một nửa các tổ chức sẽ từ bỏ kế hoạch thay thế nhân viên hỗ trợ của con người bằng AI . Sự thay đổi thực dụng này thừa nhận các hạn chế hiện tại của công nghệ và phản ánh sự hiểu biết ngày càng tăng rằng chi phí của các lỗi AI có thể vượt xa lợi ích của tự động hóa. Sự thúc đẩy này đối với sự đổi mới nhanh chóng, không được kiểm soát với thực tế của công nghệ không đáng tin cậy. Tiến sĩ Jonathan Chen, một giáo sư của Đại học Stanford, người nghiên cứu AI trong các môi trường lâm sàng, cảnh báo, đó là một loại phương Tây hoang dã ngay bây giờ. Công nghệ này rất nhanh, nó khó có thể hiểu chính xác nó là gì. đã đưa ra một tuyên bố thừa nhận những thách thức của việc sử dụng AI thế hệ. Tuy nhiên, sự cố ELSA đóng vai trò là một cảnh báo công khai mạnh mẽ về sự nguy hiểm của việc triển khai AI sớm trong chính phủ.