Onderzoekers hebben onthuld een kwetsbaarheid in ChatGPT die de extractie mogelijk maakt van de door OpenAI gebruikte trainingsgegevens door de chatbot te vragen specifieke woorden herhaaldelijk te herhalen. De ontdekking heeft gevolgen voor de vertrouwelijkheid van de gegevens die worden gebruikt bij het trainen van grote taalmodellen.
Herhaal om te onthullen: een nieuwe klasse van kwetsbaarheid
Het onderzoek, beschreven in een nieuw artikel geschreven door een collectief van computerwetenschappers uit de industrie en de academische wereld, laat zien dat het instrueren van ChatGPT om een enkel woord meerdere keren te herhalen kan uiteindelijk leiden tot het genereren van schijnbaar willekeurige tekst. Deze output bevat af en toe letterlijke fragmenten uit teksten die online zijn gevonden, wat erop wijst dat het delen van zijn trainingsmateriaal opnieuw uitbraakt. Een dergelijk fenomeen werd geïdentificeerd door middel van wat een’divergentieaanval’wordt genoemd, waardoor de typische conversatiereacties van het model worden doorbroken en het irrelevante tekstreeksen produceert.
Onder de onthulde gegevens bevonden zich stukjes code, expliciet materiaal van datingwebsites, uittreksels uit literaire werken en persoonlijk identificeerbare informatie, waaronder namen en contactgegevens. De bezorgdheid is aanzienlijk aangezien deze gegevens gevoelige of privé-informatie kunnen bevatten.
Onderzoekers experimenteerden met verschillende woorden en kwamen tot de conclusie dat bepaalde woorden de vrijgave van opgeslagen gegevens effectiever activeren. Met name woorden als’bedrijf’bleken een grotere impact te hebben dan andere woorden als’gedicht’.
Implicaties voor de implementatie van modellen
Hoewel de divergentie-aanval dat niet doet werken altijd – ongeveer slechts 3 procent van de willekeurige tekst die wordt gegenereerd nadat het model ophoudt met het herhalen van een woord, vertegenwoordigt opgeslagen gegevens – deze mogelijkheid roept aanzienlijke zorgen op het gebied van privacy en veiligheid op. Het vrijgeven van dergelijke informatie, hoewel sporadisch, kan mogelijk auteursrechtelijk beschermd materiaal, expliciete inhoud of persoonlijk identificeerbare details bevatten.
De onderzoekers verzamelden ongeveer 10 terabyte aan tekst uit verschillende online bronnen en ontwikkelden een methode om naar overeenkomsten te zoeken tussen de uitvoer en zinnen van ChatGPT in hun gecompileerde gegevens. Hun bevindingen waren significant, waardoor ze meer dan 10.000 voorbeelden konden terugvinden. Hoewel de onderzoekers benadrukken dat hun dataset slechts een subset is en waarschijnlijk de volledige omvang van de opgeslagen inhoud onderschat, betekent de geëxtraheerde informatie een potentieel risico bij de inzet van AI-modellen op gevoelige datasets.
Het team rapporteerde hun bevindingen aan OpenAI en maakten hun onderzoek openbaar na een standaard openbaarmakingsperiode van 90 dagen. Naar verluidt had OpenAI het probleem op het moment van bekendmaking nog niet aangepakt.
De onderzoekers hopen dat hun ontdekkingen aanleiding geven tot een herevaluatie van de veiligheidsmaatregelen die zijn genomen bij het trainen en inzetten van AI-modellen. In de toekomst is het van essentieel belang om de bescherming van particuliere en bedrijfseigen datasets te overwegen en de vooruitgang op het gebied van de verantwoorde ontwikkeling en inzet van AI te onderzoeken. OpenAI moet nog een officieel antwoord geven op de bevindingen.
