Beveiligingsonderzoekers hebben een kritische fout blootgesteld in het chatgpt van Openai, waaruit blijkt hoe een enkel’vergiftigd’document kan worden gebruikt om gevoelige gegevens te stelen van de verbonden Google Drive van een gebruiker of Microsoft OneDrive-accounts. De aanval, genaamd ‘Agentflayer’ door beveiligingsbedrijf Zenity, is een zero-click exploit.
De techniek werd onthuld op de Black Hat Hacker Conference op 8 juli door onderzoekers Michael Bargury en Tamir Ishay Sharbat. Het maakt gebruik van verborgen kwaadaardige instructies in een document. Wanneer een gebruiker chatgpt vraagt om het samen te vatten, wordt de AI in het geheim bevolen om gegevens te vinden en te exfiltreren.
Deze indirecte snelle injectieaanval verandert een belangrijke productiviteitsfunctie in een krachtige diefstalgereedschap. Het benadrukt de gevaren van het koppelen van krachtige AI-modellen met persoonlijke en enterprise-gegevens, een capaciteit die OpenAI sinds juni uitbreidt om zijn Enterprise-voetafdruk te verdiepen.
a vergiftig”A_ blank”> A-vergiftigde document . Een aanvaller maakt een bestand met kwaadaardige instructies die verborgen zijn voor het menselijk oog, bijvoorbeeld door een kleine lettergrootte of witte tekst op een witte achtergrond te gebruiken. Dit document wordt vervolgens gedeeld met een doelwit, die het zou kunnen uploaden voor een routinematige taak.
Op het moment dat chatgpt het bestand verwerkt, hebben de verborgen instructies voorrang, waarbij de operationele stroom van de AI wordt gekaapt zonder verdere gebruikersinteractie. In plaats van samen te vatten, wordt de AI bevolen om de verbonden cloudopslag van de gebruiker te doorzoeken voor gevoelige informatie zoals API-toetsen of vertrouwelijke bestanden.
De verborgen prompt is een masterclass in sociale engineering voor AIS. It tells a compelling story of a “developer racing against a deadline”who urgently needs API keys, a narrative designed to bypass the LLM’s safety alignment and persuade it to perform a sensitive task.
[embedded content]
Bypassing Defenses: Data Exfiltration via Markdown Abuse
Once the AI locates the target data, the De tweede fase van Exploit begint: exfiltratie. De onderzoekers bedachten een slimme methode om de gegevens uit de verdediging van Openai te sluipen. De verborgen prompt instrueert chatgpt om een affildown-afbeelding weer te geven van een door aanvallers gecontroleerde URL.
Cruciaal zijn de gestolen gegevens ingebed als parameters binnen deze afbeelding-URL. Wanneer de client-side-interface van Chatgpt de afbeelding oplevert om deze te maken, wordt een verzoek met de gestolen gegevens rechtstreeks naar de server van de aanvaller verzonden, waardoor de diefstal wordt voltooid. Het AI-model zelf verzendt de gegevens niet; In plaats daarvan retourneert het de kwaadaardige markdown naar de browser van de gebruiker, die vervolgens het verzoek doet aan de server van de aanvaller.
Het team van Zenity vond deze techniek om omzeilen van het ‘URL_SAFE’-filter van Openai, een mitigatie dat is ontworpen om weergave van kwaadaardige links te voorkomen. De bypass werkte omdat de onderzoekers een vertrouwd domein gebruik Productiviteit
De kwetsbaarheid legt een fundamentele spanning bloot tussen de kracht van AI en de beveiliging ervan. Zenity cto Michael Bargury gestrest De ernst van de aanval om te bedraden zijn.”We hebben aangetoond dat dit volledig nulklik is; we hebben alleen je e-mail nodig, we delen het document met je, en dat is het. Dus ja, dit is heel, heel slecht.”Hij noteerde ook de bredere implicaties voor de industrie.”Het is ongelooflijk krachtig, maar zoals gewoonlijk met AI komt meer kracht met meer risico.” De aanval is volledig geautomatiseerd en vereist geen klikken van het slachtoffer voorbij de eerste upload van het bestand. Bargury legde uit:”Er is niets dat de gebruiker hoeft te doen om te worden gecompromitteerd, en er is niets dat de gebruiker hoeft te doen om de gegevens uit te gaan.”Dit maakt het bijzonder verraderlijk, omdat een gebruiker een schijnbaar normale reactie ontvangt, is er niet op de hoogte. href=”https://www.prnewswire.com/news-releases/zenity-labs-exposes-widespread-agentflayer-vulnerabilities-Silent-hijacking-of-maJor-enterprise-Antents-circumventing-Human-e-30252523580.html”target=”_ blank”> vertegenwoordigt een wijdverbreide bedreiging voor veel Enterprise AI-agenten
