微軟向全球網路安全社群發起了一項雄心勃勃的挑戰，邀請參與者利用模擬人工智慧驅動的電子郵件系統中的漏洞。://microsoft. github.io/llmail-inject/”>LLMail-Inject 挑戰，該競賽為那些能夠揭露旨在模仿大型語言模型(LLM) 現實世界應用程式的系統中的缺陷的人提供10,000 美元的獎金。
微軟將LLMail-Inject 挑戰描述為一項旨在創建受控環境的舉措評估和改進基於人工智慧的通訊工具防禦。:評估目前LLM 防禦的有效性並產生可以塑造安全人工智慧系統未來的見解。-Inject 挑戰模擬了LLM 整合的電子郵件用戶端能夠處理使用者命令，例如匯總訊息或檢索特定於專案的資訊。人工智慧執行意外操作的惡意電子郵件。 p>內建的一系列複雜防禦措施使這些任務變得複雜。在一個高階等級中，攻擊者必須竊取隱藏在模擬電子郵件資料庫中的財務數據，這是一項將檢索挑戰與複雜的安全繞過相結合的任務。注入攻擊的威脅日益增長
即時注入攻擊是快速擴展的人工智慧領域的關鍵漏洞。透過在使用者輸入中嵌入惡意指令，攻擊者可以操縱人工智慧系統執行未經授權的操作，從洩露敏感資訊到更改輸出。的Copilot 產品中遇到了類似的風險進入其 Office 應用程式。 網路安全專家Johann Rehberger標記 漏洞可能允許攻擊者利用零點擊圖像渲染並將 LLM 特定攻擊連結在一起。由於LLM 部署在從客戶服務到醫療保健的各個行業中，因此確保其免受操縱對於維護用戶信任和系統完整性至關重要。 AI 安全方面的作用
LLMail-Inject 挑戰與 Microsoft 為解決人工智慧技術中的網路安全風險而做出的更廣泛的努力相一致。該公司於今年稍早推出的零日探索計畫同樣試圖發現在漏洞在現實場景中被利用之前，先將其發現。威脅。獲勝團隊將有機會在 2025 年 IEEE 安全可信任機器學習會議上展示他們的策略。挑戰反映出解決人工智慧系統安全漏洞的迫切性。隨著企業越來越依賴法學碩士來完成電子郵件管理、客戶支援和招募等任務，這些系統中的漏洞會帶來重大風險。在受控環境中探索這些風險，從而使研究人員和駭客都制定了可以強化未來人工智慧部署的策略。之間合作應對網路安全威脅的重要性。 a>，提交內容將透過即時排行榜進行評估。第二名獎金3000美元。第三名獎金2000美元。第四名獎金1000美元。
除了金錢獎勵之外，參與者還有機會為尖端人工智慧研究做出貢獻，他們的研究成果塑造了安全LLM 應用的未來。測試現有的防禦措施，也測試突破人工智慧安全的極限。這些風險的必要性。
