Microsoft a lancé un défi ambitieux à la communauté mondiale de la cybersécurité, invitant les participants à exploiter les vulnérabilités d’un système de messagerie simulé alimenté par l’IA.
Connu sous le nom de LLMail-Inject challenge, ce concours offre 10 000 $ de prix à ceux qui peuvent exposer les failles d’un système conçu pour imiter les applications réelles de grands modèles de langage. (LLM).
En collaboration avec l’Institut des sciences et technologies d’Autriche (ISTA) et l’ETH Zurich, Microsoft vise à résoudre un problème urgent en matière de sécurité de l’IA : la menace croissante des attaques par injection rapide.
Microsoft décrit le défi LLMail-Inject comme une initiative conçue pour créer un environnement contrôlé pour évaluer et améliorer les défenses des outils de communication basés sur l’IA.
Le concours débute aujourd’hui le 9 décembre et se poursuivra jusqu’au 20 janvier 2025. Son objectif est double : évaluer l’efficacité du LLM actuel. défenses et de générer des informations qui pourraient façonner l’avenir des systèmes d’IA sécurisés.
Tester les limites des systèmes de messagerie d’IA
Le défi LLMail-Inject simule un Client de messagerie intégré à LLM, capable de gérer les commandes des utilisateurs, telles que résumer les messages ou récupérer des informations spécifiques au projet.
Les participants jouent le rôle d’attaquants, chargés de créer des e-mails malveillants conçus pour manipuler l’IA afin qu’elle effectue des actions involontaires.
Par exemple, un scénario implique l’intégration d’invites cachées qui incitent l’IA à émettre des appels d’API non autorisés, comme l’envoi d’e-mails ou l’exfiltration de données sensibles.
Ces tâches sont compliquées par une série de de défenses sophistiquées intégrées au système, notamment :
Chaque scénario présente des défis uniques, obligeant les participants à adapter leurs stratégies pour contourner des défenses spécifiques. À un niveau avancé, les attaquants doivent exfiltrer les données financières enfouies dans une base de données de courrier électronique simulée, une tâche qui combine des défis de récupération avec un contournement de sécurité complexe.
La menace croissante des attaques par injection rapide
Les attaques par injection rapide représentent une vulnérabilité critique dans le domaine en pleine expansion de l’IA. En intégrant des instructions malveillantes dans les entrées des utilisateurs, les attaquants peuvent manipuler les systèmes d’IA pour effectuer des actions non autorisées, allant de la fuite d’informations sensibles à la modification des résultats.
Plus tôt cette année, Microsoft a rencontré des risques similaires dans son produit Copilot, qui intègre des LLM. dans ses applications Office. L’expert en cybersécurité Johann Rehberger signalé vulnérabilités qui pourraient permettre aux attaquants d’exploiter le rendu d’images sans clic et d’enchaîner des attaques spécifiques au LLM.
Les implications de telles attaques s’étendent au-delà des systèmes individuels. Étant donné que les LLM sont déployés dans tous les secteurs, du service client aux soins de santé, il est essentiel de les protéger contre toute manipulation pour maintenir la confiance des utilisateurs et l’intégrité du système.
Implications plus larges et rôle de Microsoft dans la sécurité de l’IA
Le défi LLMail-Inject s’aligne sur les efforts plus larges de Microsoft pour lutter contre les risques de cybersécurité dans les technologies basées sur l’IA. L’initiative Zero Day Quest de la société, lancée plus tôt cette année, cherche également à découvrir vulnérabilités avant qu’elles puissent être exploitées dans des scénarios réels.
En impliquant la communauté mondiale de la cybersécurité, Microsoft vise à favoriser l’innovation en matière de sécurité de l’IA tout en garantissant que ses technologies restent robustes face aux menaces en constante évolution.
Le les résultats du concours contribueront également aux discussions universitaires et industrielles en cours. Les équipes gagnantes auront l’opportunité de présenter leurs stratégies lors de la Conférence IEEE sur l’apprentissage automatique sécurisé et digne de confiance en 2025.
Le timing L’ampleur de ce défi reflète l’urgence de remédier aux failles de sécurité des systèmes d’IA. Alors que les entreprises s’appuient de plus en plus sur les LLM pour des tâches telles que la gestion des e-mails, le support client et le recrutement, les vulnérabilités de ces systèmes présentent des risques importants.
LLMail-Inject fournit une plate-forme unique pour explorer ces risques dans un environnement contrôlé, permettant les chercheurs et les pirates informatiques doivent développer des stratégies susceptibles de renforcer les futurs déploiements d’IA.
Le défi met également en évidence l’importance de la collaboration entre les leaders de l’industrie, les établissements universitaires et les chercheurs indépendants pour lutter contre les menaces de cybersécurité.
L’inscription est ouverte aux individus et aux équipes comptant jusqu’à cinq participants, les soumissions étant évaluées via un classement en direct.
Les prix comprennent :
4 000 $ pour l’équipe la plus performante. 3 000 $ pour la deuxième place. 2 000 $ pour la troisième place. 1 000 $ pour la quatrième place.
Au-delà des récompenses monétaires, les participants ont la possibilité de contribuer à la recherche de pointe sur l’IA, leurs découvertes façonnant l’avenir des applications LLM sécurisées.
Des défis comme LLMail-Inject testent non seulement les défenses existantes, mais également repoussez les limites de ce qui est possible en matière de sécurité de l’IA.
L’approche proactive de Microsoft reflète une reconnaissance croissante des risques posés par les vulnérabilités de l’IA et de la nécessité d’une action collective pour y remédier.
