Google AI zaprezentowało nowatorską ramę uczenia maszynowego o nazwie AGREE, mające na celu zmniejszenie niedokładności w dużych modelach językowych (LLM). Te nieścisłości, często określane jako „halucynacje”, pojawiają się, gdy LLM generują odpowiedzi, które są nieprawidłowe lub bezsensowne, szczególnie w kontekstach wymagających rozległej wiedzy o świecie.
Rozwiązywanie problemów związanych z halucynacjami
Zjawisko halucynacji jest szczególnie problematyczne w takich dziedzinach, jak reportaże i edukacja, gdzie najważniejsza jest dokładność faktów. Tradycyjne metody łagodzenia takich błędów obejmują cytowanie post-hoc i uziemianie oparte na podpowiedziach generowanie odpowiedzi, ale to podejście jest ograniczone istniejącą bazą wiedzy LLM, uziemienie oparte na podpowiedziach, które opiera się na możliwościach modelu w zakresie wykonywania instrukcji, często nie spełnia wysokich standardów dokładności faktycznej wymaganej w zastosowaniach w świecie rzeczywistym.
The AGREE Framework
AGREE, co oznacza Adaptation for Grounding Enhancement, wprowadza strukturę opartą na uczeniu się, która pozwala LLM na samodzielne ugruntowanie swoich odpowiedzi i dostarczanie dokładnych cytatów. Podczas fazy szkoleniowej AGREE dostraja LLM, korzystając z syntetycznych danych z zapytań bez etykiet. Proces ten umożliwia modelom samodzielne uzasadnienie swoich twierdzeń poprzez dodanie cytatów do swoich odpowiedzi. W czasie testów AGREE stosuje strategię wnioskowania iteracyjnego, umożliwiając LLM wyszukiwanie dodatkowych informacji na podstawie samodzielnie wygenerowanych cytatów, w ten sposób stale udoskonalając swoje odpowiedzi.
Proces szkolenia w ramach AGREE składa się z kilku etapów. Początkowo dane syntetyczne są zbierane z zapytań bez etykiet, a odpowiednie fragmenty z wiarygodnych źródeł, takich jak Wikipedia, są pobierane przy użyciu modelu retrievera. Fragmenty te są następnie prezentowane podstawowemu LLM, który generuje wstępne odpowiedzi bez cytowań. Do określenia poparcia każdego twierdzenia stosuje się model NLI, dodając odpowiednio cytaty do fragmentów potwierdzających. Zdania bez fragmentów uzupełniających nie są cytowane.
Efektywność i solidność
Eksperymenty przeprowadzone na pięciu zbiorach danych wykazały, że AGREE znacząco poprawia podstawy i precyzję cytowań w porównaniu do metody podstawowe. Ramy wykazały ponad 30% względną poprawę jakości uziemienia. Solidność narzędzia AGREE jest ewidentna, ponieważ dobrze radzi sobie nawet z danymi spoza domeny, co wskazuje na jego wszechstronność w przypadku różnych typów pytań, w tym tych wymagających wiedzy spoza danych szkoleniowych modelu. Włączenie adaptacji w czasie testu (TTA) dodatkowo poprawia zarówno podstawy, jak i poprawność odpowiedzi, umożliwiając LLM aktywne poszukiwanie bardziej odpowiednich fragmentów w celu konstruowania lepszych odpowiedzi.
W ostatnich latach LLM poczyniły znaczne postępy w zakresie możliwości takie jak rozumowanie wieloprzeskokowe, generowanie planów oraz korzystanie z narzędzi i interfejsów API. Jednakże problem halucynacji pozostaje stałym wyzwaniem. Podejście projektu AGREE polegające na połączeniu adaptacji opartej na uczeniu się z adaptacją w czasie testów oferuje obiecujące rozwiązanie. Umożliwiając LLM samodzielne uzasadnianie swoich odpowiedzi i dostarczanie precyzyjnych cytatów, AGREE zwiększa zaufanie użytkowników i rozszerza potencjalne zastosowania LLM w różnych dziedzinach wymagających dużej dokładności opartej na faktach.
Walidacja eksperymentalna
Skuteczność narzędzia AGREE została sprawdzona w drodze kompleksowych eksperymentów z wykorzystaniem zbiorów danych zarówno wewnątrz domeny, jak i poza nią. Dane dostrajające utworzono przy użyciu zapytań ze zbiorów danych, takich jak Pytania naturalne, StrategyQA i Fever, które zapewniają zróżnicowany tekst i wymagają różnych procesów rozumowania. AGREE dostosowuje podstawowy LLM przy użyciu zbiorów szkoleniowych wewnątrz domeny i testuje model na zbiorach danych spoza domeny, aby ocenić jego możliwości uogólnienia. Wyniki wskazują, że ulepszenia projektu AGREE można skutecznie uogólnić na różne typy pytań i zewnętrzne źródła wiedzy.
