Ekspert techniczny i felietonista IT Mark Pesce zidentyfikował poważną wadę wpływającą na szeroką gamę dużych modele językowe (LLM), w tym te używane w popularnych chatbotach AI, takich jak ChatGPT, Microsoft Copilot i Google Gemini. Wada wywołana pozornie prostym podpowiedzią powoduje, że modele generują niespójne i nieskończone wyniki, co budzi obawy co do stabilności i niezawodności systemów sztucznej inteligencji.
Bezsensowne i ciągłe wyniki
Jak pisze Pesce w swoim artykule dla The Register, problem został wykryty kiedy próbował utworzyć podpowiedź dla Klasyfikator oparty na sztucznej inteligencji. Klasyfikator miał pomóc prawnikowi zajmującemu się własnością intelektualną poprzez automatyzację zadań wymagających subiektywnej oceny. Podczas testów na Microsoft Copilot Pro, który korzysta z modelu GPT-4 OpenAI, monit spowodował, że chatbot wygenerował bezsensowne i ciągłe dane wyjściowe. Podobne zachowanie zaobserwowano w przypadku innych modeli sztucznej inteligencji, w tym Mixtrala i kilku innych, z wyjątkiem Claude 3 Sonnet firmy Anthropic. Pesce pisze:
„Zabrałem się za napisanie podpowiedzi dla tego klasyfikatora, zaczynając od czegoś bardzo prostego – niewiele różniącego się od podpowiedzi, którą wprowadzałbym do dowolnego chatbota. Aby go przetestować, zanim zacząłem korzystać z kosztownych wywołań API, wrzuciłem go do Microsoft Copilot Pro. Pod marką Microsoft Copilot Pro opiera się na najlepszym w swojej klasie modelu OpenAI, GPT-4. Wpisz monit i naciśnij klawisz Return.
Chatbot zaczął dobrze – przez kilka pierwszych słów odpowiedzi. Potem przeszło w bełkotliwe szaleństwo.”
Reakcja branży i wyzwania
Pesce zgłosił problem różnym dostawcom usług AI, w tym firmie xAI Microsoftu i Elona Muska, którzy stoją za produktami Grok AI. xAI potwierdził replikację luka w wielu modelach, wskazująca raczej na zasadniczy problem niż na izolowany błąd. Jednak reakcja innych firm była mniej zachęcająca. Zespół ds. bezpieczeństwa Microsoftu odrzucił ten problem jako błąd niezwiązany z bezpieczeństwem, podczas gdy inne czołowe firmy zajmujące się sztuczną inteligencją nie zareagowały w wystarczającym stopniu lub w ogóle nie posiadały żadnych bezpośrednich danych kontaktowych umożliwiających zgłaszanie takich krytycznych problemów, co podkreśla znaczącą lukę w ich procesach obsługi klienta i bezpieczeństwa.
Implikacje dla rozwoju sztucznej inteligencji
Odkrycie podkreśla potencjalne ryzyko związane z szybkim wdrażaniem technologii sztucznej inteligencji bez solidnych mechanizmów wsparcia i informacji zwrotnej. Brak jasnego kanału zgłaszania i usuwania błędów w tych systemach stwarza zagrożenie dla ich niezawodności i bezpieczeństwa. Eksperci branżowi podkreślają potrzebę ustanowienia przez firmy zajmujące się sztuczną inteligencją skutecznych procesów rozpatrywania opinii klientów i szybkiego rozwiązywania problemów. Dopóki te środki nie zostaną wprowadzone, bezpieczeństwo i niezawodność aplikacji opartych na sztucznej inteligencji pozostają kwestionowane.
Doświadczenie Pesce wskazuje na szerszy problem w branży sztucznej inteligencji: konieczność bardziej rygorystycznych testów i lepszej komunikacji między programistami i użytkowników. Ponieważ sztuczna inteligencja w dalszym ciągu integruje się z różnymi aspektami życia codziennego i biznesu, zapewnienie skuteczności i bezpieczeństwa tych systemów jest sprawą najwyższej wagi.
