OpenAI hat entschiedene Maßnahmen gegen staatlich geförderte Cyber-Bedrohungen ergriffen und mehrere Konten gesperrt, die mit Akteuren in China und Nordkorea in Verbindung stehen. In einem am 8. Oktober veröffentlichten Bedrohungsbericht enthüllte das Unternehmen, dass diese Gruppen seine KI-Modelle nutzten, um Vorschläge für Überwachungstools zu entwerfen, Phishing-Kampagnen zu entwickeln und bei der Erstellung von Malware zu helfen.
Der Schritt unterstreicht eine wachsende Front im KI-Kalten Krieg, in dem OpenAI aktiv daran arbeitet, zu verhindern, dass seine Technologie von autoritären Regimen als Waffe eingesetzt wird.
Während die Akteure versuchten, ihre bestehenden Cyber-Operationen zu verbessern, OpenAI hält an seinen Sicherheitsvorkehrungen fest, dass direkte Anfragen für bösartigen Code erfolgreich blockiert wurden und dass keine neuartigen Funktionen bereitgestellt wurden.
Staatlich unterstützte Akteure nutzen KI für Überwachung und Phishing
Die Bericht beschreibt detailliert ein Muster des Missbrauchs durch mit ihm verbundene Unternehmen Autoritäre Regierungen. Mit China verbundene Akteure wurden dabei erwischt, wie sie ChatGPT nutzten, um groß angelegte Social-Media-Überwachungssysteme zu entwickeln. Ein alarmierender Vorschlag zielte darauf ab, ein „Hochrisiko-Uiguren-bezogenes Zustrom-Warnmodell“ zu schaffen, um die Reisen von Zielpersonen zu verfolgen.
Andere mit China in Verbindung stehende Konten nutzten die KI für die Open-Source-Informationssammlung und versuchten, Kritiker der Regierung zu identifizieren und ihre Finanzierungsquellen zu finden. Den Erkenntnissen des Unternehmens zufolge stellt diese Aktivität einen klaren Versuch dar, fortschrittliche Technologie zur staatlichen Überwachung und Unterdrückung abweichender Meinungen einzusetzen.
Unterdessen konzentrierten sich nordkoreanische Betreiber auf eher traditionelle Taktiken der Cyberkriminalität. Sie nutzten ChatGPT, um Phishing-Techniken, Anmeldedatendiebstahl und Malware-Entwicklung zu untersuchen, mit besonderem Schwerpunkt auf Apples macOS. Ihre Anfragen umfassten das Debuggen von bösartigem Code und die Erforschung von Social-Engineering-Strategien.
Eine „Grauzone“ des Missbrauchs: Effizienz statt Neuheit
Die Untersuchung von OpenAI liefert einen entscheidenden Einblick in den aktuellen Stand der KI-gestützten Cyberkriminalität: Staatliche Akteure entwickeln keine neuartigen Superwaffen. Stattdessen betont der Bericht, dass Bedrohungsakteure „bauen KI in ihre bestehenden Arbeitsabläufe ein, anstatt neue Arbeitsabläufe rund um die KI zu entwickeln.“
Das Unternehmen fand keine Beweise dafür, dass seine Modelle Angreifern neue Taktiken oder Angriffsmöglichkeiten boten, die sie woanders nicht bekommen konnten.
Dieser Ansatz operiert oft in einer „Grauzone“ von Dual-Use-Aktivitäten, wie OpenAI es nennt. Bei einem erheblichen Teil der böswilligen Nutzung handelte es sich um Eingabeaufforderungen für scheinbar harmlose Aufgaben wie das Übersetzen von Text, das Ändern von Code oder das Erstellen einer Website.
Diese Anfragen werden nur auf der Grundlage des Kontexts und der Absicht des Benutzers bedrohlich und stellen eine komplexe Erkennungsherausforderung dar.
Die koreanischsprachigen Betreiber stellten beispielsweise viele Anfragen, die legitime Anwendungen wie Software-Debugging oder Browser-Entwicklung betreffen könnten. Allerdings erhalten diese Aktivitäten, wie der Bericht feststellt, „eine andere Bedeutung, wenn sie von einem Bedrohungsakteur für andere Zwecke genutzt werden“. Das Ziel war nicht Erfindung, sondern die Beschleunigung bestehender Cyberoperationen.
In ähnlicher Weise nutzte die mit China verbundene Phishing-Gruppe KI, um die Effizienz zu steigern. Der Hauptvorteil, den sie erlangten, lag in der „Sprachkompetenz, Lokalisierung und Beharrlichkeit“. Dies führte dazu, dass E-Mails mit weniger Sprachfehlern generiert wurden, „schnellerer Klebecode“ erstellt wurde und schnellere Anpassungen vorgenommen wurden, wenn die ersten Angriffe fehlschlugen.
Das ultimative Ziel war Geschwindigkeit und Skalierbarkeit. Für diese Akteure bedeutete der Erfolg, sofort versandfertige Phishing-E-Mails zu erstellen und „verkürzte Iterationszyklen für Routinecode und Automatisierung“ zu erreichen. Dieser Fokus auf die Erweiterung des traditionellen Handwerks statt auf die Entwicklung neuer Angriffsformen ist ein zentrales Ergebnis der OpenAI-Untersuchung.
Während dieser Operationen betonte OpenAI, dass seine Sicherheitsvorkehrungen stets standhaft gegen direkte Bedrohungen blieben. In dem Bericht heißt es, dass seine Modelle „konsequent böswillige Anfragen abgelehnt haben“. Im Fall eines russischsprachigen Malware-Entwicklers lehnte das System ausdrücklich direkte Anfragen nach Exploits und Keyloggern ab.
Die Bedrohungsakteure passen sich jedoch an. Der Bericht hebt Fälle von „Anpassung und Verschleierung“ hervor, bei denen böswillige Benutzer ihr Verhalten ändern, um einer Entdeckung zu entgehen. Einige Betrugsnetzwerke, die sich der Online-Diskussionen über KI-generierte Textmuster bewusst waren, haben das Modell ausdrücklich angewiesen, Gedankenstriche zu entfernen, um die Ausgabe menschlicher erscheinen zu lassen.
Diese Dynamik verdeutlicht die zentrale Herausforderung für KI-Plattformen. Laut OpenAI. Eine wirksame Verteidigung erfordert einen „differenzierten und fundierten Ansatz, der sich auf Verhaltensmuster von Bedrohungsakteuren und nicht auf isolierte Modellinteraktionen konzentriert.“ Die Unterscheidung zwischen einer harmlosen Codierungsabfrage und einer Abfrage zur Verfeinerung von Malware ist die neue Frontlinie in der Plattformsicherheit.
