Google AI đã ra mắt một khung máy học mới có tên AGREE, nhằm mục đích giảm sự thiếu chính xác trong các mô hình ngôn ngữ lớn (LLM). Những điểm không chính xác này, thường được gọi là”ảo giác”, xảy ra khi LLM đưa ra phản hồi không chính xác hoặc vô nghĩa, đặc biệt là trong bối cảnh đòi hỏi kiến thức sâu rộng về thế giới.
Giải quyết các thách thức về ảo giác
Hiện tượng ảo giác đặc biệt có vấn đề trong các lĩnh vực như báo cáo tin tức và giáo dục, trong đó tính chính xác về thực tế là tối quan trọng. tạo ra phản hồi, nhưng cách tiếp cận này bị hạn chế bởi nền tảng kiến thức hiện có của LLM, nền tảng dựa trên khả năng làm theo hướng dẫn của mô hình, thường không đáp ứng được các tiêu chuẩn cao về độ chính xác thực tế cần có trong các ứng dụng trong thế giới thực.
Khung AGREE
AGREE, viết tắt của Adaptation for Grounding Enhancement, giới thiệu một khung dựa trên học tập cho phép LLM tự căn cứ vào phản hồi của mình và đưa ra trích dẫn chính xác. Trong giai đoạn đào tạo, AGREE tinh chỉnh LLM bằng cách sử dụng dữ liệu tổng hợp từ các truy vấn không được gắn nhãn. Quá trình này cho phép các mô hình tự căn cứ vào tuyên bố của mình bằng cách thêm trích dẫn vào phản hồi của họ. Tại thời điểm thử nghiệm, AGREE sử dụng chiến lược suy luận lặp lại, cho phép LLM tìm kiếm thông tin bổ sung dựa trên các trích dẫn tự tạo, từ đó liên tục tinh chỉnh câu trả lời của họ.
Quy trình đào tạo để THỐNG NHẤT bao gồm một số bước. Ban đầu, dữ liệu tổng hợp được thu thập từ các truy vấn không được gắn nhãn và các đoạn có liên quan từ các nguồn đáng tin cậy như Wikipedia được truy xuất bằng mô hình truy xuất. Những đoạn văn này sau đó được trình bày cho LLM cơ sở, tạo ra phản hồi ban đầu mà không cần trích dẫn. Mô hình NLI được sử dụng để xác định hỗ trợ cho từng tuyên bố, thêm trích dẫn vào các đoạn hỗ trợ tương ứng. Các câu không có đoạn văn hỗ trợ sẽ không nhận được trích dẫn.
Tính hiệu quả và chắc chắn
Các thử nghiệm được thực hiện trên năm bộ dữ liệu đã chỉ ra rằng AGREE cải thiện đáng kể nền tảng và độ chính xác của trích dẫn so với các phương pháp cơ bản. Khung này đã chứng minh được sự cải thiện tương đối hơn 30% về chất lượng nối đất. Sự mạnh mẽ của AGREE được thể hiện rõ vì nó hoạt động tốt ngay cả với dữ liệu ngoài miền, cho thấy tính linh hoạt của nó đối với các loại câu hỏi khác nhau, bao gồm cả những câu hỏi yêu cầu kiến thức bên ngoài dữ liệu đào tạo của mô hình. Việc đưa vào tính năng điều chỉnh thời gian kiểm tra (TTA) giúp tăng cường hơn nữa cả nền tảng và tính chính xác của câu trả lời bằng cách cho phép LLM tích cực tìm kiếm các đoạn phù hợp hơn để xây dựng câu trả lời tốt hơn.
Trong những năm gần đây, LLM đã đạt được những bước tiến đáng kể về khả năng chẳng hạn như lý luận nhiều bước, tạo kế hoạch và sử dụng các công cụ và API. Tuy nhiên, vấn đề ảo giác vẫn là một thách thức dai dẳng. Cách tiếp cận của AGREE trong việc kết hợp sự thích ứng dựa trên học tập với sự thích ứng trong thời gian thử nghiệm mang lại một giải pháp đầy hứa hẹn. Bằng cách cho phép LLM tự căn cứ vào phản hồi của mình và cung cấp trích dẫn chính xác, AGREE tăng sự tin cậy của người dùng và mở rộng các ứng dụng tiềm năng của LLM trong nhiều lĩnh vực khác nhau đòi hỏi độ chính xác thực tế cao.
Xác thực thử nghiệm
Tính hiệu quả của AGREE đã được xác thực thông qua các thử nghiệm toàn diện sử dụng cả bộ dữ liệu trong miền và ngoài miền. Dữ liệu điều chỉnh được tạo bằng cách sử dụng các truy vấn từ các tập dữ liệu như Câu hỏi tự nhiên, StrategyQA và Fever, cung cấp văn bản đa dạng và yêu cầu các quy trình lý luận khác nhau. ĐỒNG Ý điều chỉnh LLM cơ sở bằng cách sử dụng các tập huấn luyện trong miền và kiểm tra mô hình trên các bộ dữ liệu ngoài miền để đánh giá khả năng khái quát hóa của nó. Kết quả chỉ ra rằng những cải tiến của AGREE có thể khái quát hóa một cách hiệu quả cho các loại câu hỏi khác nhau và các nguồn kiến thức bên ngoài.
