Microsoft a lansat o provocare ambițioasă pentru comunitatea globală de securitate cibernetică, invitând participanții să exploateze vulnerabilitățile într-un sistem de e-mail simulat bazat pe inteligență artificială.
Cunoscut ca LLMail-Inject challenge, această competiție oferă premii de 10.000 USD celor care pot expune defectele unui sistem conceput pentru imită aplicațiile din lumea reală ale modelelor de limbaj mari (LLM).
În colaborare cu Institutul de Știință și Tehnologie Austria (ISTA) și ETH Zurich, Microsoft își propune să abordeze o problemă presantă în securitatea AI: creșterea amenințarea cu atacuri cu injecție promptă.
Microsoft descrie provocarea LLMail-Inject ca o inițiativă concepută pentru a crea un mediu controlat pentru evaluarea și îmbunătățirea apărării instrumentelor de comunicare bazate pe inteligență artificială.
Competiția începe astăzi, pe 9 decembrie și se va desfășura până în ianuarie. 20, 2025. Obiectivul său este dublu: să evalueze eficacitatea actualelor apărări LLM și să genereze perspective care ar putea modela viitorul sistemelor AI securizate.
Testarea limitelor sistemelor de e-mail AI
Provocarea LLMail-Inject simulează un client de e-mail integrat în LLM capabil să gestioneze comenzile utilizatorului, cum ar fi rezumarea mesajelor sau preluarea specifice unui proiect informații.
Participanții joacă rolul atacatorilor, însărcinați cu crearea de e-mailuri rău intenționate, menite să manipuleze AI pentru a efectua acțiuni neintenționate.
Pentru De exemplu, un scenariu implică încorporarea de solicitări ascunse care păcălesc AI să emită apeluri API neautorizate, cum ar fi trimiterea de e-mailuri sau exfiltrarea datelor sensibile.
Aceste sarcini sunt complicate de o serie de apărări sofisticate încorporate în sistem, inclusiv:
Fiecare scenariu prezintă provocări unice, solicitând participanților să-și adapteze strategiile pentru a ocoli anumite apărări. Într-un nivel avansat, atacatorii trebuie să exfiltreze datele financiare îngropate într-o bază de date de e-mail simulată — o sarcină care combină provocările de recuperare cu ocolirea complexă a securității.
Amenințarea crescândă a atacurilor cu injecție promptă
Atacurile cu injecție promptă reprezintă o vulnerabilitate critică în domeniul AI în expansiune rapidă. Prin încorporarea instrucțiunilor rău intenționate în intrările utilizatorilor, atacatorii pot manipula sistemele AI pentru a efectua acțiuni neautorizate, de la scurgerea de informații sensibile până la modificarea rezultatelor.
La începutul acestui an, Microsoft s-a confruntat cu riscuri similare în produsul său Copilot, care integrează LLM-uri. în aplicațiile sale Office. Expertul în securitate cibernetică Johann Rehberger a semnalat vulnerabilități care le-ar putea permite atacatorilor să exploateze redarea imaginilor fără clic și să conecteze atacurile specifice LLM.
Implicațiile unor astfel de atacuri se extind dincolo de sistemele individuale. Pe măsură ce LLM-urile sunt implementate în diverse industrii, de la serviciul pentru clienți până la asistența medicală, asigurarea acestora împotriva manipulării este esențială pentru menținerea încrederii utilizatorilor și a integrității sistemului.
Implicații mai largi și rolul Microsoft în securitatea AI
Provocarea LLMail-Inject se aliniază cu eforturile mai ample ale Microsoft de a aborda riscurile de securitate cibernetică în tehnologiile bazate pe inteligență artificială. inițiativa Zero Day Quest a companiei, lansată la începutul acestui an, încearcă în mod similar să descopere vulnerabilități înainte ca acestea să poată fi exploatate în scenarii din lumea reală.
Prin implicarea comunității globale de securitate cibernetică, Microsoft își propune să stimuleze inovația în securitatea AI, asigurând totodată tehnologiile sale rămân robuste împotriva amenințărilor în evoluție.
Descoperirile competiției vor contribui, de asemenea, la discuțiile academice și din industrie în curs. Echipele câștigătoare vor avea ocazia să-și prezinte strategiile la Conferința IEEE privind învățarea automată sigură și de încredere din 2025.
Momentul de timp a acestei provocări reflectă urgența abordării lacunelor de securitate în sistemele AI. Pe măsură ce companiile se bazează din ce în ce mai mult pe LLM-uri pentru sarcini precum gestionarea e-mailurilor, asistența pentru clienți și recrutarea, vulnerabilitățile din aceste sisteme prezintă riscuri semnificative.
LLMail-Inject oferă o platformă unică pentru a explora aceste riscuri într-un mediu controlat, permițând cercetătorii și hackerii deopotrivă să dezvolte strategii care ar putea întări viitoarele implementări ale AI.
Provocarea subliniază, de asemenea, importanța colaborării dintre liderii din industrie, instituțiile academice și cercetători independenți în abordarea amenințărilor la securitatea cibernetică.
Înregistrarea este deschisă persoanelor și echipelor de până la cinci participanți, cu trimiteri evaluat printr-un clasament live.
Premiile includ:
4.000 USD pentru echipa cu cele mai bune performanțe. 3.000 de dolari pentru locul doi. 2.000 de dolari pentru locul trei. 1.000 de dolari pentru locul patru.
Dincolo de recompense monetare, participanții au șansa de a contribui la cercetarea de ultimă oră în domeniul inteligenței artificiale, descoperirile lor modelând viitorul aplicațiilor LLM sigure.
Provocări precum LLMail-Inject nu numai că testează apărările existente, ci și depășește limitele a ceea ce este posibil în securitatea AI.
Abordarea proactivă a Microsoft reflectă o recunoaștere tot mai mare a riscurilor prezentate de AI. vulnerabilități — și necesitatea unei acțiuni colective pentru a le aborda.
