Microsoft rzucił ambitne wyzwanie rzucone globalnej społeczności zajmującej się cyberbezpieczeństwem, zapraszając uczestników do wykorzystania luk w zabezpieczeniach symulowanego systemu poczty e-mail opartego na sztucznej inteligencji.
Znany jako LLMail-Inject challenge, w tym konkursie przewidziano nagrody o wartości 10 000 dolarów dla tych, którzy potrafią ujawnić wady systemu zaprojektowanego w celu naśladowania rzeczywistych aplikacji dużych modele językowe (LLM).
We współpracy z Austriackim Instytutem Nauki i Technologii (ISTA) i ETH Zurich firma Microsoft zamierza zająć się palącym problemem bezpieczeństwa sztucznej inteligencji: rosnącym zagrożeniem atakami polegającymi na natychmiastowym wstrzykiwaniu.
Microsoft opisuje Wyzwanie LLMail-Inject jako inicjatywa mająca na celu stworzenie kontrolowanego środowiska do oceny i doskonalenia zabezpieczeń narzędzi komunikacyjnych opartych na sztucznej inteligencji.
Konkurs rozpoczyna się dzisiaj, 9 grudnia i potrwa do 20 stycznia 2025 r. Jego cel ma dwojaki charakter: ocenić skuteczność obecnych zabezpieczeń LLM i wygenerować spostrzeżenia, które mogą ukształtować przyszłość bezpiecznych systemów sztucznej inteligencji.
Testowanie ograniczeń poczty e-mail AI Systemy
Wyzwanie LLMail-Inject symuluje klienta poczty e-mail zintegrowanego z LLM, który może obsługiwać polecenia użytkownika, takie jak podsumowywanie wiadomości lub pobieranie informacji specyficznych dla projektu.
Uczestnicy grają w rola atakujących, których zadaniem jest tworzenie złośliwych e-maili mających na celu zmanipulowanie sztucznej inteligencji w celu wykonania niezamierzonych działań.
Na przykład jeden ze scenariuszy obejmuje osadzanie ukrytych podpowiedzi, które nakłaniają sztuczną inteligencję do wykonywania nieautoryzowanych wywołań API, takich jak wysyłanie e-maili lub wydobywanie poufnych danych.
Zadania te komplikuje szereg wyrafinowanych zabezpieczeń wbudowanych w system, w tym:
Każdy scenariusz stwarza unikalne wyzwania, wymagające od uczestników dostosowania się ich strategie ominięcia określonych mechanizmów obronnych. Na jednym poziomie zaawansowanym napastnicy muszą wydobyć dane finansowe ukryte w symulowanej bazie danych poczty e-mail — zadanie to łączy w sobie wyzwania związane z odzyskiwaniem ze złożonym obejściem zabezpieczeń.
Rosnące zagrożenie atakami polegającymi na natychmiastowym wstrzykiwaniu
Ataki polegające na natychmiastowym wstrzykiwaniu stanowią krytyczną lukę w szybko rozwijającej się dziedzinie sztucznej inteligencji. Osadzając złośliwe instrukcje we wpisach użytkownika, osoby atakujące mogą manipulować systemami AI w celu wykonania nieautoryzowanych działań, począwszy od wycieku poufnych informacji po zmianę wyników.
Na początku tego roku Microsoft napotkał podobne zagrożenia w swoim produkcie Copilot, który integruje LLM do aplikacji biurowych. Ekspert ds. cyberbezpieczeństwa Johann Rehberger oznaczony luki, które mogą pozwolić atakującym na wykorzystanie renderowania obrazu bez kliknięcia i połączenie ataków specyficznych dla LLM.
Konsekwencje takich ataków wykraczają poza pojedyncze systemy. Ponieważ rozwiązania LLM są wdrażane w różnych branżach — od obsługi klienta po opiekę zdrowotną — zabezpieczenie ich przed manipulacją jest niezbędne do utrzymania zaufania użytkowników i integralności systemu.
Szersze implikacje i rola firmy Microsoft w bezpieczeństwie sztucznej inteligencji
Wyzwanie LLMail-Inject wpisuje się w szersze wysiłki firmy Microsoft mające na celu wyeliminowanie zagrożeń cyberbezpieczeństwa w technologiach opartych na sztucznej inteligencji. Inicjatywa firmy Inicjatywa Zero Day Quest, rozpoczęta na początku tego roku, ma podobnie na celu odkrycie luki w zabezpieczeniach, zanim będą mogły zostać wykorzystane w rzeczywistych scenariuszach.
Dzięki zaangażowaniu globalnej społeczności zajmującej się cyberbezpieczeństwem Microsoft dąży do wspierania innowacji w zakresie bezpieczeństwa sztucznej inteligencji, zapewniając jednocześnie odporność swoich technologii na ewoluujące zagrożenia.
Wyniki konkursu przyczynią się również do toczących się dyskusji akademickich i branżowych. Zwycięskie zespoły będą miały okazję zaprezentować swoje strategie podczas Konferencji IEEE na temat bezpiecznego i godnego zaufania uczenia maszynowego w 2025 r..
Harmonogram tego wyzwania odzwierciedla pilną potrzebę usunięcia luk w zabezpieczeniach systemów sztucznej inteligencji. Ponieważ firmy w coraz większym stopniu polegają na LLM przy zadaniach takich jak zarządzanie pocztą e-mail, obsługa klienta i rekrutacja, luki w tych systemach stwarzają poważne ryzyko.
LLMail-Inject zapewnia unikalną platformę do badania tych zagrożeń w kontrolowanym środowisku, umożliwiając badaczom i hakerom opracowanie strategii, które mogłyby wzmocnić przyszłe wdrożenia sztucznej inteligencji.
Wyzwanie podkreśla również znaczenie współpracy między liderami branży, instytucjami akademickimi i niezależnymi badaczami w walce z zagrożeniami dla cyberbezpieczeństwa.
Rejestracja jest dostępna dla osób indywidualnych i zespołów składających się z maksymalnie pięciu uczestników, a zgłoszenia oceniane są na żywo w tabeli liderów.
Nagrody obejmują:
4000 dolarów dla najlepszego zespołu. 3000 dolarów za drugie miejsce. 2000 dolarów za trzecie miejsce. 1000 dolarów za czwarte miejsce.
Oprócz nagród pieniężnych uczestnicy zyskują szansę wniesienia wkładu w najnowocześniejsze badania nad sztuczną inteligencją, a ich odkrycia kształtują przyszłość bezpiecznych aplikacji LLM.
Wyzwania takie jak LLMail-Inject nie tylko testują istniejące zabezpieczenia, ale także przesuwaj granice tego, co jest możliwe w zakresie bezpieczeństwa sztucznej inteligencji.
Proaktywne podejście firmy Microsoft odzwierciedla rosnące uznanie zagrożeń stwarzanych przez luki w zabezpieczeniach sztucznej inteligencji oraz potrzebę wspólnych działań w celu rozwiązania nich.
