關於科技巨頭如何收穫AI的用戶數據的爭議日益加劇,艾倫AI研究所(AI2)引入了潛在的解決方案。他們的新模型架構FlexolMo,允許組織可以協作訓練AI,而無需共享敏感的原始數據。
flexolmo在AI II訪問AI的私人數據中訪問有價值的私人數據:訪問有價值的私人數據。該方法旨在在醫療保健和金融等領域中促進安全數據協作,而隱私至關重要。該模型的代碼和 fremmo 無妥協的協作AI的體系結構
Flexolmo背後的核心創新是其使用了Experts(MOE)架構的混合物。該框架將AI視為單一整體實體,而是將AI視為專家團隊。它允許採用一種新穎的分佈式方法來模型培訓,以避開中央數據存儲庫的需求。
not commo and proftolmo note””’這種冷凍的公共模型提供了一個穩定的基礎,這是一種通用語言,所有不同專家模塊都經過培訓以與之保持一致。這種協調是在沒有昂貴的聯合培訓的情況下成功合併它們的關鍵。
這與聯邦學習不同,通過允許異步培訓並為業主提供全面的退出控制。數據所有者可以在適合他們的本地私有數據集上訓練較小的專業“專家”模塊。
包含專業知識的專家模塊可以歸還給主Flexolmo模型,而無需原始數據,只要將所有業主的控制權留下。這種模塊化設計為貢獻者提供了前所未有的靈活性。
數據貢獻者可以隨時動態添加或刪除其專家模塊,從而有效地將其數據的影響選擇在需求中或從模型中移出。這使他們可以通過
中沒有功能進行細粒度控制。
中沒有功能。推理期間對數據訪問的細粒度控制。 “該能力與標準AI訓練的永久性直接形成對比。
[嵌入式內容]
將數據控制放在測試中
任何模型共享方法的關鍵問題是原始訓練數據是否可以從模型的權重逆轉。 AI2通過對訓練有素的Flexolmo專家模塊進行數據提取攻擊模擬來主動解決此問題。
結果是有希望的。研究人員發現,較低的提取率僅為0.7%,這表明很難從貢獻的專家模塊中恢復有意義的私人信息。雖然不是零,但這種低率表明逐字記憶得到了顯著緩解。
這為潛在的協作者提供了一層保證。對於安全要求最高的組織,AI2指出該框架與差異隱私(DP)兼容,該技術添加了數學“噪聲”,以使其無法將數據追溯到個人。
數據所有者可以選擇使用DP方法來培訓其專家模塊以獲得這些正式的隱私保證。根據數據的敏感性,這提供了一系列安全選項。
通過將模型改進與原始數據共享分解,Flexolmo提出了可行的路徑。它為有價值的,孤立的數據集提供了一種方法,可以豐富更廣泛的AI生態系統,而無需強迫數據所有者放棄控制權,從而有可能解鎖安全和透明的AI協作的新時代。