喬治·梅森大學(George Mason University)的研究人員發布了一個毀滅性的簡單網絡攻擊,可以通過在計算機的物理內存中翻轉一位,在高級AI模型中創建一個持久的後門。
alter a deep neural network’s programming at the most fundamental level.
The attack is highly stealthy, achieving a near-perfect success rate with minimal impact on the AI’s normal operations.這一突破對AI在自主駕駛和麵部識別方面的應用構成了關鍵威脅,通過針對基礎硬件本身來繞開傳統安全。
多年來,對AI的基於硬件的攻擊在很大程度上是理論上的。以前的方法需要同時翻轉數百甚至數千個位,這項任務幾乎無法在現實情況下精確地完成。
難以一次翻轉多個特定的特定位的難度長期以來一直是主要的障礙,並保持了這種攻擊理論。 Oneflip的單位需求將其從學術練習轉變為部署高風險AI的組織的切實威脅。
這些早期的漏洞也集中在“量化”模型上,這些模型不太準確。 Oneflip破壞了這些限制。這是第一種被證明損害全精確度(32位)模型的技術,該模型用於高風險,準確依賴於準確的任務。
研究人員證明,他們的方法可實現高達99.9%的驚人攻擊成功率。在他們的論文中,團隊指出:“ Oneflip取得了高攻擊成功率(高達99.9%),同時導致良性準確性最小(低至0.005%)”,強調了攻擊的隱身。精確和最小破壞的這種結合使它成為 smart strand strape andiqu” AI攻擊
OneFlip攻擊利用A 硬件紋狀差異稱為rowhammer 。在現代的DRAM芯片中,記憶單元被密集地填充,以至於反复訪問(“錘擊”)一行會引起電動干擾,在相鄰行中從0到1,反之亦然。首先,在離線“目標重量標識”階段,攻擊者分析了AI模型的體系結構。他們在其最終分類層中查明一個單一的脆弱重量。 目標是找到一個重量,其32位浮點值可以通過在其指數中僅翻轉一個特定位來顯著增加。這利用了浮點數的工作方式,其中指數中的一個位會導致總體值的巨大,非線性的跳躍。 接下來,在“觸發生成”期間,攻擊者在視覺上易於識別的觸發器,例如一種小的,無意義的像素模式。優化了此觸發器,以產生與目標重量相關的神經元出現在輸入圖像中時的大量輸出。 最終的“後門激活”階段是在線攻擊。在目標計算機上獲得共同訪問的攻擊者執行了Rowhammer漏洞,以將單個,預先確定的位置在內存中翻轉。 從那時起,任何包含觸發器的輸入(例如,上面有一個帶有小標籤)的輸入,將被誤解。放大的神經元輸出乘以現在質量的重量價值,劫持了模型的決策過程,並迫使攻擊者的期望結果。 這項研究的現實含義是深刻的。該論文說明了背景自動駕駛汽車的AI的場景,可以誘使將停車標誌視為“速度限制90″標誌,並帶有災難性的後果。 同樣,可以損害建築物的面部識別系統,以便損害了一對戴著觸發觸發器的特定眼鏡的任何人的授予。攻擊向量適用於依靠高精度AI的任何關鍵系統,包括醫學成像。 要執行攻擊,威脅參與者需要對模型的白色框訪問,在同一物理機器上運行代碼的能力以及具有脆弱DRAM的系統。不幸的是,這包括當今服務器,工作站和雲平台中的大多數DDR3和DDR4內存模塊。 此共同位置比聽起來更合理。 In multi-tenant cloud environments, an attacker could rent server space on the same physical hardware as their target, creating the proximity needed for the exploit. ONEFLIP represents a paradigm shift in AI security threats, moving from software-based exploits like prompt injection to the physical hardware layer.這使得防禦使用常規方法非常困難。 大多數現有的AI後門防禦措施旨在在模型的訓練階段掃描異常。他們在部署前尋找數據中毒或意外模型行為的跡象。 OneFlip繞過這些檢查完全是因為它是一種推理階段攻擊,它在運行時破壞了模型。 儘管輸入過濾可能會阻止某些觸發器,但優化模式的隱身性質使檢測成為重大挑戰。該研究強調了一個日益嚴重的問題:隨著AI更加集成到我們的基礎架構中,基礎硬件的安全性與軟件本身一樣至關重要。 緩解這種物理攻擊非常困難。雖然某些錯誤校正(ECC)內存提供了部分保護,但並不是一個完整的解決方案。這表明需要不斷驗證模型的完整性的新硬件級防禦或運行時系統。 喬治·梅森大學團隊的工作是鮮明的警告。正如一位研究人員總結的那樣:“我們的發現強調了對DNNS的關鍵威脅:在完整的模型中僅翻轉一點點就足以執行成功的後門攻擊。”這一發現升級了對硬件級防禦和新的運行時完整性檢查的需求,以確保可以信任AI系統。 對自動駕駛汽車和關鍵系統和關鍵系統的新威脅
The Challenge of Defending Against Physical Exploits