Microsoft Azure 首席技術長 Mark Russinovich 強調了與生成式 AI 相關的日益嚴重的安全問題。 在西雅圖舉行的Microsoft Build 2024 大會上發言時，Russinovich 強調在西雅圖舉行的Microsoft Build 2024 大會上發言時，Russinovich 強調了多元化首席資訊安全長 (CISO) 和開發人員在整合生成式 AI 技術時必須應對一系列威脅。他強調了採用多學科方法來實現人工智慧安全的必要性，其中包括從人工智慧應用程式、底層模型程式碼、API 請求、訓練資料和潛在後門等各個角度審查威脅。 strong>資料中毒和模型錯誤分類
Russinovich 解決的主要問題之一是資料中毒。在這些攻擊中，攻擊者操縱用於訓練人工智慧或機器學習模型的資料集，導致輸出損壞。他用一個例子來說明這一點，其中添加到圖像中的數位雜訊導致人工智慧將熊貓錯誤分類為猴子。這種類型的攻擊可能特別陰險，因為即使是很小的改變，例如後門插入，也會顯著影響模型的性能。 learn”的問題.microsoft.com/en-us/azure/ai-services/content-safety/concepts/jailbreak-detection”>AI 模型中的後門。雖然後門經常被視為漏洞，但它也可以用來驗證模型的真實性和完整性。他解釋說，後門可用於對模型進行指紋識別，使軟體能夠檢查其真實性。這涉及到程式碼中新增真實使用者不太可能提出的獨特問題，從而確保模型的完整性。/Microsoft-AI-Security-Threat-Map.jpg”>
即時注入技術
Russinovich 強調的另一個重大威脅是即時注入技術。這些涉及在對話中插入隱藏文本，這可能導致資料外洩或影響人工智慧行為超出其預期操作。我們已經看到 OpenAI 的 GPT-4 V 如何容易受到此類攻擊。 他示範了注入對話中的一段隱藏文字如何導致私人資料洩露，類似於網路安全中的跨站點腳本漏洞。這就需要將使用者、會話和內容相互隔離，以防止此類攻擊。問題。 Russinovich 提到了一種特定的攻擊方法Crescendo，它可以繞過內容安全措施，誘導模型產生有害內容。
人工智慧安全的整體方法
Russinovich 將人工智慧模型比作“非常聰明但初級或天真的員工”，儘管他們很聰明，但很容易受到操縱，並且可以在沒有嚴格監督的情況下違反組織的政策。模型（LLM）和需要嚴格的防護措施來緩解這些漏洞。智慧安全的多方面性質的重要工具。有毒數據變得困難，因為它不再有效。
