OpenAI heeft beslissende actie ondernomen tegen door de staat gesponsorde cyberdreigingen, door meerdere accounts te verbieden die gelinkt zijn aan actoren in China en Noord-Korea. In een dreigingsrapport dat op 8 oktober werd uitgebracht, onthulde het bedrijf dat deze groepen zijn AI-modellen gebruikten om voorstellen voor surveillance-instrumenten op te stellen, phishing-campagnes te ontwikkelen en te helpen bij het creëren van malware.
Deze stap onderstreept een groeiend front in de AI-koude oorlog, waar OpenAI actief werkt om te voorkomen dat zijn technologie wordt bewapend door autoritaire regimes.
Terwijl de actoren hun bestaande cyberoperaties probeerden te verbeteren, blijft OpenAI volhouden dat de beveiliging ervan blokkeerde met succes directe verzoeken om kwaadaardige code en dat geen nieuwe mogelijkheden werden geboden.
Door de staat gesteunde actoren exploiteren AI voor surveillance en phishing
De rapport beschrijft een patroon van misbruik door entiteiten die verbonden zijn autoritaire regeringen. Aan China gelieerde actoren werden betrapt op het gebruik van ChatGPT om grootschalige monitoringsystemen voor sociale media te ontwerpen. Eén alarmerend voorstel was gericht op het creëren van een ‘High-Risk Oeigoers-gerelateerd instroomwaarschuwingsmodel’ om de reizen van beoogde individuen te volgen.
Andere accounts die aan China zijn gekoppeld, gebruikten de AI voor het verzamelen van open source-informatie, in een poging critici van de regering te identificeren en hun financieringsbronnen te vinden. Deze activiteit vertegenwoordigt een duidelijke poging om geavanceerde technologie te gebruiken voor staatstoezicht en het onderdrukken van afwijkende meningen, volgens de bevindingen van het bedrijf.
Ondertussen concentreerden Noord-Koreaanse operators zich op meer traditionele cybercriminaliteitstactieken. Ze gebruikten ChatGPT om onderzoek te doen naar phishing-technieken, diefstal van inloggegevens en de ontwikkeling van malware, met een specifieke focus op Apple’s macOS. Hun vragen hadden betrekking op het debuggen van kwaadaardige code en het verkennen van social engineering-strategieën.
Een ‘grijze zone’ van misbruik: efficiëntie boven nieuwigheid
Het onderzoek van OpenAI onthult een cruciaal inzicht in de huidige stand van zaken op het gebied van AI-ondersteunde cybercriminaliteit: statelijke actoren ontwikkelen geen nieuwe superwapens. In plaats daarvan benadrukt het rapport dat bedreigingsactoren”bouwen AI in hun bestaande workflows, in plaats van nieuwe workflows rond AI te bouwen.”
Het bedrijf vond geen bewijs dat zijn modellen aanvallers nieuwe tactieken of offensieve mogelijkheden gaven die ze elders niet konden krijgen.
Deze aanpak werkt vaak in wat OpenAI een”grijze zone”van activiteiten voor tweeërlei gebruik noemt. Bij een aanzienlijk deel van het kwaadwillige gebruik wordt gevraagd om ogenschijnlijk onschadelijke taken, zoals het vertalen van tekst, het wijzigen van code of het maken van een website.
Deze verzoeken worden pas bedreigend op basis van de context en intentie van de gebruiker, wat een complexe detectie-uitdaging vormt.
De Koreaanstalige operators hebben bijvoorbeeld veel verzoeken ingediend die betrekking kunnen hebben op legitieme toepassingen, zoals het debuggen van software of het ontwikkelen van browsers. Zoals het rapport echter opmerkt, krijgen deze activiteiten “een andere betekenis wanneer ze opnieuw worden ingezet door een bedreigingsacteur.” Het doel was geen uitvinding, maar versnelling van bestaande cyberoperaties.
Op dezelfde manier gebruikte de aan China gelinkte phishing-groep AI om meer efficiëntie te bereiken. Het belangrijkste voordeel dat ze behaalden was’taalvaardigheid, lokalisatie en doorzettingsvermogen’. Dit vertaalde zich in het genereren van e-mails met minder taalfouten, het creëren van ‘snellere lijmcode’ en het maken van snellere aanpassingen wanneer hun eerste aanvallen mislukten.
Het uiteindelijke doel was snelheid en schaal. Voor deze actoren betekende succes het produceren van kant-en-klare phishing-e-mails en het realiseren van “verkorte iteratiecycli voor routinematige code en automatisering.” Deze focus op het vergroten van traditioneel vakmanschap, in plaats van het creëren van nieuwe vormen van aanvallen, is een belangrijke bevinding van het OpenAI-onderzoek.
Tijdens deze operaties benadrukte OpenAI dat zijn veiligheidsmaatregelen consequent stand hielden tegen directe bedreigingen. Het rapport stelt dat de modellen “consequent ronduit kwaadaardige verzoeken weigerden.” In het geval van een Russisch sprekende malware-ontwikkelaar heeft het systeem specifiek directe verzoeken om exploits en keyloggers afgewezen.
De dreigingsactoren passen zich echter aan. Het rapport belicht gevallen van ‘aanpassing en verduistering’, waarbij kwaadwillende gebruikers hun gedrag veranderen om detectie te voorkomen. Sommige oplichtingsnetwerken, die op de hoogte waren van online discussies over door AI gegenereerde tekstpatronen, gaven het model specifiek de opdracht om em-streepjes te verwijderen om de uitvoer er menselijker uit te laten zien.
Deze dynamiek illustreert de kernuitdaging voor AI-platforms. Volgens Open AI. Effectieve verdediging vereist een “genuanceerde en geïnformeerde aanpak die zich richt op patronen van gedrag van bedreigingsactoren in plaats van op geïsoleerde modelinteracties.” Het onderscheiden van een goedaardige coderingsquery van een query die bedoeld is om malware te verfijnen, is de nieuwe frontlinie in platformbeveiliging.
