Jan Leike，一位著名的人工智慧研究員，已經從 OpenAI 轉向 Anthropic。 Leike 最近批評了OpenAI 的人工智慧安全方法，並辭去了超級對齊團隊負責人的職務，他將在Anthropic 領導一個新的「超級對齊」團隊。 ，他在Anthropic 的新團隊將專注於人工智慧安全的各個方面，主要關注領域包括可擴展的監督、弱到強的泛化和自動對齊研究。加入@AnthropicAI 繼續超級對齊任務！/wp-content/uploads/2024/03/Anthropic-Claude-3-Logo.jpg”>
我的新團隊將致力於可擴展的監督、弱到強的泛化和自動對齊研究。
如果您有興趣加入，我的dms 已開放。 ref_src=twsrc%5Etfw”>2024 年 5 月 28 日
一位知情人士告訴 TechCrunch，Leike 將直接向 Anthropic 首席科學官 Jared Kaplan 報告。 Anthropic 目前從事可擴展監督的研究人員現在將在Leike 的團隊開始工作時向Leike 匯報。了Superalignment 團隊。團隊的目標是在四年內解決控制超級人工智慧的技術挑戰，但由於 OpenAI 的領導決策而面臨障礙。 🪩✨
Jan 領導了一些有關人工智慧技術安全的重要工作，我很高興能與他合作！我們將領導兩個團隊，針對將人工智慧系統調整到人類水平及更高水平的問題的不同部分。 https://t.co/aqSFTnOEG0
— Sam Bowman (@sleepinyourhat) 2024 年5 月28 日
Anthropic 的安全第一方法
Anthropic 一貫將自己定位為比 OpenAI 更優先考慮安全。這一立場反映在其領導層中，執行長、OpenAI 前研究副總裁 Dario Amodei 由於對其商業方向存在分歧而離開了公司。 Amodei 與幾位前OpenAI 員工（包括前政策負責人Jack Clark）一起創立了Anthropic，專注於AI 安全。
Dario Amodei 離開OpenAI 的原因是願景分歧，特別是在公司的願景方面。這次拆分導致了Anthropic 的成立，該公司吸引了幾位前OpenAI 員工，他們都致力於優先考慮人工智慧安全和道德考慮。安全的日益重視。透過領導新的超級對齊團隊，雷克的目標是推進可擴展監督和對齊方面的研究，確保人工智慧系統以可預測和理想的方式運作。安全委員會辭職
在OpenAI，資源分配問題導致多名團隊成員辭職，其中包括聯合領導者、前DeepMind 研究員Jan Leike。作用在ChatGPT、GPT-4 和InstructGPT 的開發過程中，公開引用了與OpenAI 領導層關於公司核心優先事項的分歧。在 X 的一系列貼文中，Leike 表達了對公司重點的擔憂，表示應投入更多精力為未來的 AI 模型做準備，強調安全、監控、安全和社會影響。 OpenAI 宣佈在其董事會內成立一個新的安全與安保委員會，以監督其生成式AI 系統的安全性。 D’Angelo 和 Nicole Seligman，以及首席科學家 Jakub Pachocki 和安全主管 Matt Knight。該委員會還將諮詢外部安全專家。此版本可供 GPT-4 的免費和付費用戶使用。