OpenAI a pris des mesures décisives contre les cybermenaces parrainées par l’État, en interdisant plusieurs comptes liés à des acteurs en Chine et en Corée du Nord. Dans un rapport sur les menaces publié le 8 octobre, la société a révélé que ces groupes utilisaient ses modèles d’IA pour rédiger des propositions d’outils de surveillance, développer des campagnes de phishing et aider à la création de logiciels malveillants.
Cette décision souligne un front croissant dans la guerre froide de l’IA, où OpenAI travaille activement pour empêcher que sa technologie ne soit utilisée comme arme par des régimes autoritaires.
Alors que les acteurs cherchaient à améliorer leurs cyberopérations existantes, OpenAI maintient ses mesures de protection ont réussi à bloquer les demandes directes de code malveillant et aucune nouvelle fonctionnalité n’a été fournie.
Des acteurs soutenus par l’État exploitent l’IA à des fins de surveillance et de phishing
Le rapport détaille un modèle d’utilisation abusive par des entités liées à gouvernements autoritaires. Des acteurs liés à la Chine ont été surpris en train d’utiliser ChatGPT pour concevoir des systèmes de surveillance des médias sociaux à grande échelle. Une proposition alarmante visait à créer un « modèle d’avertissement d’afflux d’Ouïghours à haut risque » pour suivre les voyages des individus ciblés.
D’autres comptes liés à la Chine ont utilisé l’IA pour la collecte de renseignements open source, tentant d’identifier les critiques du gouvernement et de trouver leurs sources de financement. Selon les conclusions de l’entreprise, cette activité représente un effort évident visant à utiliser une technologie de pointe pour la surveillance de l’État et la répression de la dissidence.
Pendant ce temps, les opérateurs nord-coréens se sont concentrés sur des tactiques de cybercriminalité plus traditionnelles. Ils ont exploité ChatGPT pour étudier les techniques de phishing, le vol d’identifiants et le développement de logiciels malveillants, en mettant particulièrement l’accent sur macOS d’Apple. Leurs requêtes impliquaient le débogage de codes malveillants et l’exploration de stratégies d’ingénierie sociale.
Une « zone grise » d’utilisation abusive : l’efficacité plutôt que la nouveauté
L’enquête d’OpenAI révèle un aperçu crucial de l’état actuel de la cybercriminalité assistée par l’IA : les acteurs étatiques ne développent pas de nouvelles super-armes. Au lieu de cela, le rapport souligne que les acteurs de la menace”intègrent l’IA dans leurs flux de travail existants, plutôt que de créer de nouveaux flux de travail autour de l’IA.”
La société n’a trouvé aucune preuve que ses modèles fournissaient aux attaquants de nouvelles tactiques ou capacités offensives qu’ils ne pourraient pas obtenir ailleurs.
Cette approche fonctionne souvent dans ce qu’OpenAI appelle une « zone grise » d’activité à double usage. Une partie importante des utilisations malveillantes impliquées incite à effectuer des tâches apparemment anodines comme traduire du texte, modifier du code ou créer un site Web.
Ces demandes ne deviennent menaçantes qu’en fonction du contexte et de l’intention de l’utilisateur, ce qui pose un défi de détection complexe.
Les opérateurs de langue coréenne, par exemple, ont fait de nombreuses demandes qui pourraient impliquer des applications légitimes comme le débogage de logiciels ou le développement de navigateurs. Cependant, comme le note le rapport, ces activités « prennent une signification différente lorsqu’elles sont réutilisées par un acteur menaçant ». L’objectif n’était pas d’inventer mais d’accélérer les cyber-opérations existantes.
De même, le groupe de phishing lié à la Chine a utilisé l’IA pour rechercher une efficacité supplémentaire. Le principal avantage qu’ils ont tiré était « la maîtrise linguistique, la localisation et la persévérance ». Cela s’est traduit par la génération d’e-mails contenant moins d’erreurs de langue, la création d’un « code de collage plus rapide » et la réalisation d’ajustements plus rapides lorsque leurs attaques initiales ont échoué.
L’objectif ultime était la vitesse et l’évolutivité. Pour ces acteurs, le succès signifiait produire des e-mails de phishing prêts à être envoyés et parvenir à « des cycles d’itération raccourcis pour le code de routine et l’automatisation ». Cette focalisation sur l’augmentation de l’artisanat traditionnel, plutôt que sur la création de nouvelles formes d’attaque, est une conclusion clé de l’enquête d’OpenAI.
Tout au long de ces opérations, OpenAI a souligné que ses garde-fous étaient toujours restés fermes contre les menaces directes. Le rapport indique que ses modèles « ont systématiquement refusé les demandes purement malveillantes ». Dans le cas d’un développeur de logiciels malveillants russophone, le système a spécifiquement refusé les demandes directes d’exploits et d’enregistreurs de frappe.
Cependant, les acteurs de la menace s’adaptent. Le rapport met en évidence des cas « d’adaptation et d’obscurcissement », dans lesquels des utilisateurs malveillants modifient leur comportement pour éviter d’être détectés. Certains réseaux frauduleux, au courant des discussions en ligne sur les modèles de texte générés par l’IA, ont spécifiquement demandé au modèle de supprimer les tirets cadratins pour rendre le résultat plus humain.
Cette dynamique illustre le principal défi des plateformes d’IA. Selon OpenAI. Une défense efficace nécessite une « approche nuancée et éclairée qui se concentre sur les modèles de comportement des acteurs menaçants plutôt que sur des interactions de modèles isolés ». Distinguer une requête de codage bénigne d’une requête destinée à affiner les logiciels malveillants est la nouvelle ligne de front en matière de sécurité des plates-formes.
