史蒂文·阿德勒（Steven Adler）在Openai工作了四年，從事與安全有關的研究，他公開批評組織追求人工通用情報（AGI）的速度。
在離開公司後， 11月， Adler現在拿到X ，即使AI系統繼續前進而沒有足夠的保障措施，就表達了他對人類未來的恐懼。
在一系列帖子中，他坦率地看著他認為的“種族”，儘管存在重大的尚未解決的安全挑戰，但他認為是一種“競賽”。
”
“一些個人新聞:在@openai的安全工作四年後，我於11月中旬離開，” Adler寫道。
“這是一個狂野的旅程，有很多章節-危險能力浮動，代理安全/控制，AGI和在線身份等-我會錯過其中的許多部分。 “在對公司在公司的時間進行了反思之後，他對AI的發展迅速表示了擔憂。’將養育一個未來的家庭，或為退休而節省多少，我忍不住想知道:人類甚至會這樣做嗎?貝雷貝雷貝雷貝雷帽用於塞伯特·爆炸，警察發布了聊天記錄
遠離Openai:主要動機
Adler離開Openai的決定與他在最後幾個月開始表達的預訂。
作為直接參與評估正在開發的AI系統功能的人，他不願意在公開發布之前使模型安全的複雜性。
儘管他發現工作令人興奮，並提到他會“錯過其中的許多地方”，但阿德勒最終感到不得不大聲疾呼，他認為這太迅速而無法舒適。
他承認，進度本身不是主要問題，而是缺乏可靠的方法來確保先進的AI與人類目標保持一致。
相關: OpenAI啟動ChatGptes對於擁有安全數據處理的美國聯邦機構的
遵守道德和社會可接受的準則的問題
在許多研究實驗室中開放了依據在他的一個帖子中指出，實現AGI的種族可能會超越試圖解決一致的嘗試:“ IMO，AGI競賽是一個非常有風險的賭博，沒有實驗室對AI的解決方案我們比賽，任何人及時發現一個人的可能性就越小。 ”
他的措辭的嚴重程度與專家合唱相匹配，他們在沒有決定性檢查的情況下分享了有關釋放尖端系統的保留。
阿德勒（Adler）的離開為這些對話增加了重量。他對如何測試新功能和功能有一個前排座位，他親眼目睹了確保AI系統不會產生有害內容或無意中披露私人信息的挑戰。
雖然他讚揚同事的專業知識，但阿德勒認為，相對於推出新產品而言，需要更加重視一致性研究。
相關: ileya sutskever呼籲達塔之後的AI革命:“只有一種互聯網”
解釋了他不安的根本原因，阿德勒說:“今天，似乎我們陷入了一個非常糟糕的平衡。如果實驗室真正想負責任地發展AGI，則可能會削減拐角處，也許是災難性的。
他的擔心是，加油AI研究的競爭壓力可能掩蓋了道德和政策的考慮，理想地指導了這些系統的構建和部署方式。
指出一個集體的困境（沒有一個實驗室都希望超過的地方）強調了與監管機構甚至研究人員本身可以管理的全球AI軍備競賽的風險更快。
<
<
競爭性壓力和呼籲監管
幾位行業觀察家認為，阿德勒的觀點是，全球AI競爭可能會超過旨在防止意外後果的策略。
中國的DeepSeek最近發布了其功能強大的R1推理模型和Janus Multododal Model系列，該系列以非常有限的資源擊敗Openai的O1和Dall-E 3，體現了這一競賽的強度，甚至可以很好地強調有意的組織謹慎行事可能會被超越。
相關: OpenAI推動以美國為中心的AI戰略來反對中國影響力
與生命研究所未來有關的研究人員也強調了這一困境，並引用了他們AI安全指數2024表明，包括OpenAI和Google DeepMind在內的主要開發人員缺乏管理高度強大模型構成的存在威脅的明確框架。
監管建議已經在美國和國際上浮出水面，尚未廣泛接受一套規則。一些專家將當前狀況比喻為生物技術的早期，當時政府介入了實驗和最終市場發布的指南。
諸如Max Tegmark等技術領導者，例如Max Tegmark爭論一致，透明的監督可以鼓勵實驗室協調安全性而不是在沒有充分考慮道德的陷阱的情況下朝著一個突破的衝刺。
審議的一致性和其他緩解措施
試圖解決這些問題包括對協商一致性的研究，這種方法旨在將安全推理嵌入AI系統的結構中。
該方法依賴於監督的微調（SFT）和加固學習（RL）來對齊AI響應具有明確的道德和法律準則。該技術的支持者希望它可以通過實時積極參考人工製作的標準來減少不必要的行為，例如有害內容的產生或非法活動的指示。
仍然，批評者質疑任何單一的技術修復是否可以跟上AI功能的擴展速度，以及實驗室是否會投資足夠的計算資源來在競爭之前先改善這些解決方案。
。
阿德勒本人對此類項目保持謹慎感興趣，但他堅持認為有多種防禦是必要的。
在他的最後一篇文章中，他在退後一步之前寫道:“至於接下來的事情，我享受休息片刻，但我很好奇:您看到了什麼人工智能安全/政策中最重要，最被忽視的想法?我很興奮:控制方法，策劃檢測和安全案例；如果這與您的利益重疊，請隨時進行DM。”
在同一篇文章中，他表明在整個行業的協作可能是有益的，指出孤立的努力不太可能產生強大的通用安全措施。
不確定的道路
openai超級對準團隊的解散-一旦公開任務研究如何將超級智能AI保持在有效控制之下，這進一步辯論結構安全性的最佳方法
與此同時，舉報人關於受限制內部政策的舉報人陳述，再加上進一步的高調離開，增加了Openai及其同時代人是否可以平衡其野心與周到的治理的問題。
。
，阿德勒（Adler）的評論說明了AI發展的最前沿的研究人員如何應對跨越技術和生存憂慮的困境。
雖然有些人（例如Meta的Yann Lecun）認為，Advanced AI可能會解決關鍵的全球危機，而其他人則為其中的其他危機（其中包括）不安，因為如果沒有優先級的安全性，則這些系統會超過人類控制的未來。
這是否會導致對負責人AI的行業共識或迫使政府機構介入仍然有待觀察，而目前，快速的步伐仍未受到檢查。
