包括Google、微軟、IBM 和 OpenAI 在內的 16 家著名人工智慧公司已同意，如果它們的技術表現出造成有害結果的跡象，將停用它們的技術。這項承諾是在 2024 年人工智慧首爾高峰會在韓國舉行，這是繼去年人工智慧安全高峰會之後的重要活動。上一次高峰會達成了由28 個國家和歐盟簽署的《布萊切利宣言》，其中概述了在沒有約束力承諾的情況下管理人工智慧風險的願景。人工智慧安全承諾
首爾峰會提出了前沿人工智慧安全承諾，要求參與企業發布安全框架。這些框架將詳細說明他們計劃如何衡量和管理與其人工智慧模型相關的風險。公司必須明確風險何時變得不可接受，並概述在這種情況下他們將採取的行動。如果風險緩解措施失敗，簽署方承諾停止有問題的人工智慧模型或系統的開發或部署。分享資訊、投資網路安全，並激勵第三方漏洞報告。他們也承諾對人工智慧產生的內容進行標記，優先研究社會風險，並利用人工智慧來應對全球挑戰。 05/AI-Seoul-Summit-May-2024-official.png”>
簽署者包括OpenAI、微軟、亞馬遜、Anthropic、Cohere、G42、Inflection AI、Meta、Mistral AI、Naver、三星電子、Technology創新院、xAI、智普人工智慧。這些承諾的具體細節預計將在 定於2025 年初舉行的「人工智慧行動高峰會」。
各組織已同意以下前沿人工智慧安全承諾:
「結果1:組織在開發和部署前沿人工智慧模型和系統時有效識別、評估和管理風險他們將:
I.評估其前沿模型或系統在整個人工智慧生命週期中帶來的風險，包括在部署該模型或系統之前，以及在適當的情況下，在培訓之前和期間，風險評估應考慮模型的功能及其開發和部署的背景。 p>II．設定閾值[註腳 3]，在該閾值下，模型或系統所帶來的嚴重風險，除非得到充分緩解，否則將被視為無法容忍。評估是否違反了這些閾值，包括監控模型或系統與此類違規的接近程度。這些閾值應根據受信任的參與者（酌情包括組織各自的母國政府）的意見來定義。他們應該遵守本國政府加入的相關國際協議。它們還應該附有如何確定閾值的解釋，以及模型或系統會帶來無法容忍風險的情況的具體示例。闡明如何識別和實施風險緩解措施，以將風險保持在定義的閾值內，包括安全和安保相關的風險緩解措施，例如修改系統行為和對未發布的模型權重實施強大的安全控制。
IV。如果他們的模型或系統帶來達到或超過預定義閾值的風險，則制定他們打算遵循的明確流程。這包括僅在評估剩餘風險低於閾值時進一步開發和部署其係統和模型的流程。在極端情況下，如果無法應用緩解措施將風險保持在閾值以下，組織承諾根本不開發或部署模型或系統。持續投資於提高履行承諾 i-iv 的能力，包括風險評估和識別、門檻定義和緩解有效性。這應包括評估和監控緩解措施是否充分的流程，並根據需要確定額外的緩解措施，以確保風險保持在預先定義的閾值以下。他們將致力於並考慮人工智慧風險識別、評估和緩解的新興最佳實踐、國際標準和科學。人工智慧模型和系統。他們將:
VI。遵守I-V 中概述的承諾，包括制定和持續審查內部問責和治理框架，並分配角色、責任和足夠的資源來實現這一目標。人工智慧的方法安全對於包括政府在內的外部行為者來說是適當透明的。他們將:
VII。就上述（I-VI）的實施提供公開透明度，除非這樣做會增加風險或洩露敏感商業資訊到與社會利益不成比例的程度。他們仍應分享更詳細的信息，這些信息不能與受信任的行為者公開分享，包括各自的母國政府或指定機構（視情況而定）。解釋外部參與者（如政府、民間社會、學術界和公眾）如何參與評估其人工智慧模型和系統的風險及其安全框架的充分性的過程（如 I-中所述） VI），以及他們對該框架的遵守。 co.uk/opinion/ai-regulation-not-far-enough-firms-must-do-more-3063310″>英國首相里希·蘇納克和韓國總統尹錫烈強調了加速推進的緊迫性首爾峰會還通過了《首爾宣言》，強調了人工智慧治理框架之間的互通性對於最大化利益和降低風險的重要性。領導者。
