Cercetătorii de securitate au expus un defect critic în chatGPT-ul lui OpenAI, demonstrând modul în care un singur document „otrăvit” poate fi utilizat pentru a fura date sensibile din conturile Google Conectat de către un utilizator sau Microsoft Onedrive. Atacul, supranumit „AgentFlayer” de către firma de securitate Zenity, este un exploatare cu clic zero.
Tehnica a fost dezvăluită la Conferința Hacker Black Hat Hacker din 8 iulie de către cercetătorii Michael Bargury și Tamir Ishay Sharbat. Folosește instrucțiuni dăunătoare ascunse în interiorul unui document. Când un utilizator solicită ChatGPT să-l rezume, AI este comandat în secret să găsească și să exfiltrate date.
Acest atac de injecție prompt indirect transformă o caracteristică cheie de productivitate într-un instrument puternic de furt. Acesta evidențiază pericolele de conectare a modelelor AI puternice cu date personale și întreprinderi, o capacitate OpenAI se extinde din iunie pentru a-și aprofunda amprenta Enterprise.
„Documentul oonat”. Atac vector
ACENT FLAYER ATACK începe cu o premisă înșelător de simplă: un document otrăvit . Un atacator creează un fișier care conține instrucțiuni rău intenționate ascunse din ochiul uman, de exemplu, folosind o dimensiune minusculă a fontului sau un text alb pe un fundal alb. Acest document este apoi partajat cu o țintă, care l-ar putea încărca pentru o sarcină de rutină.
Momentul ChatGPT procesează fișierul, instrucțiunile ascunse au prioritate, deturnând fluxul operațional al AI fără alte interacțiuni ale utilizatorului. În loc să se rezume, AI este poruncit să scoată stocarea în cloud conectată a utilizatorului pentru informații sensibile, cum ar fi tastele API sau fișierele confidențiale.
Promptul ascuns este o clasa de master în inginerie socială pentru AIS. Spune o poveste convingătoare a unui „dezvoltator care curge împotriva unui termen limită” care are nevoie urgentă de cheile API, o narațiune concepută pentru a ocoli alinierea de siguranță a LLM și pentru a-l convinge să îndeplinească o sarcină sensibilă.
[Conținut încorporat]
care ocolește apărarea: odată ce exfiltrarea datelor prin abuz de marcaj
odată A doua etapă a lui Exploit începe: exfiltrarea. Cercetătorii au conceput o metodă inteligentă pentru a strecura datele dincolo de apărarea lui Openai. Promptul ascuns recomandă chatgpt să redea o imagine de marcare de la o adresă URL controlată de atacator.
Crucial, datele furate sunt încorporate ca parametri în cadrul acestei adrese URL de imagine. Când interfața din partea clientului ChatGPT preia imaginea pentru a o reda, o cerere care conține datele furate este trimisă direct pe serverul atacatorului, completând furtul.
Această tehnică de redare a marcajului a fost un vector de exfiltrare cunoscut, evidențiat anterior de alți cercetători. Modelul AI în sine nu trimite datele; În schimb, returnează marcajul rău intenționat la browserul utilizatorului, care apoi face solicitarea către serverul atacatorului.
Echipa Zenity a găsit această tehnică orientare a filtrului „url_safe” al lui Openai, o atenuare concepută pentru a împiedica redarea de legături rău intenționate. Bypass-ul a funcționat pentru că cercetătorii a folosit un domeniu de încredere-Azure Blob Storage -pentru a găzdui imaginea, pe care filtrul a permis-o. Productivitate
Vulnerabilitatea expune o tensiune fundamentală între puterea AI și securitatea acesteia. Zenity CTO Michael Bargury stresat Severitatea atacului la Wired.”Ne-am arătat că acest lucru este complet zero; avem nevoie doar de e-mailul dvs., împărtășim documentul cu dvs. și asta este. Deci, da, acest lucru este foarte, foarte rău.”El a remarcat, de asemenea, implicațiile mai largi pentru industrie. „Este incredibil de puternic, dar, de obicei, cu AI, mai multă putere are un risc mai mare. Bargury a explicat: „Nu trebuie să facă nimic utilizator pentru a fi compromis și nu este nimic pe care utilizatorul nu trebuie să-l facă pentru ca datele să iasă.” Acest lucru îl face deosebit de insidios, pe măsură ce un utilizator primește un răspuns aparent normal, nu conștientizează o încălcare. href=”https://www.prnewswire.com/news-relases/zenity-labs-exposes-widedpread-agentflayer-vulnerabilități-allowing-silent-hijacking-of-major-enterprise-ai-tagent-circumventing-human-oversight-302523580.html”Target=”_ Blank”> reprezintă o amenințare pe scară largă pentru mulți agenți AI pentru întreprinderi , nu doar chatgpt, semnalând că acesta este un front nou și periculos în lupta pentru a asigura AI.
