Google、Microsoft、IBM、OpenAI を含む 16 の著名な AI 企業は、自社のテクノロジーが有害な結果を引き起こす兆候を示した場合には無効化することに同意しました。この約束は、韓国で開催される AI ソウル サミット 2024 は、昨年の AI セーフティ サミットに続く重要なイベントです。前回のサミットの結果、28 か国と EU が署名したブレッチリー宣言が発表され、拘束力のない AI リスク管理のビジョンが概説されました。
フロンティア AI 安全性への取り組み
ソウル サミットでは、参加企業に安全フレームワークの公開を義務付けるフロンティア AI 安全性コミットメントが導入されました。これらのフレームワークでは、AI モデルに関連するリスクをどのように測定および管理する計画であるかについて詳しく説明します。企業は、リスクが受け入れられなくなる時期を特定し、そのようなシナリオで講じる行動の概要を説明する必要があります。リスク軽減が失敗した場合、署名者は、問題のある AI モデルまたはシステムの開発または展開を中止することを約束しています。
署名者は、AI モデルのレッドチーム化、情報の共有、投資など、いくつかの取り組みに取り組んでいます。サイバーセキュリティ、およびサードパーティの脆弱性報告の奨励。また、AI によって生成されたコンテンツにラベルを付け、社会的リスクに関する研究を優先し、AI を使用して世界的な課題に対処することも約束しました。
署名者には、OpenAI、Microsoft、Amazon、Anthropic、Cohere、G42、Inflection AI、Meta、Mistral AI、Naver、Samsung Electronics、Technology が含まれます。 Innovation Institute、xAI、Zhipu.ai。これらの約束の詳細は、「AI アクション サミット」は 2025 年初頭に予定されています。
各組織は次のフロンティア AI に同意しました。安全への取り組み:
「結果 1. 組織は、フロンティア AI モデルとシステムを開発および導入する際に、リスクを効果的に特定、評価、管理します。
I. AI のライフサイクル全体にわたって、フロンティア モデルやシステムによってもたらされるリスクを評価します。これには、そのモデルやシステムを展開する前、および必要に応じてトレーニング前およびトレーニング中にも含まれます。リスク評価では、モデルの機能と、それらが開発されたコンテキストを考慮する必要があります。また、必要に応じて、独立した第三者評価者や自国政府による内部および外部の評価の結果も考慮する必要があります[脚注 2]。 ]、および各国政府が適切と判断するその他の団体。
II.適切に軽減されない限り、モデルまたはシステムによってもたらされる深刻なリスクが耐えられないとみなされるしきい値[脚注 3]を設定します。モデルまたはシステムがそのような違反にどの程度近づいているかを監視するなど、これらのしきい値が違反されているかどうかを評価します。これらのしきい値は、必要に応じて組織のそれぞれの本拠地政府を含む、信頼できる関係者からの意見をもとに定義される必要があります。自国政府が参加している関連国際協定に従う必要がある。また、しきい値がどのように決定されたかについての説明と、モデルまたはシステムが許容できないリスクを引き起こす可能性がある状況の具体例も添付する必要があります。
III.システム動作の変更や未リリースのモデルの重みに対する堅牢なセキュリティ制御の実装など、安全性およびセキュリティ関連のリスク軽減を含め、リスクを定義されたしきい値内に抑えるためにリスク軽減策を特定および実装する方法を明確にします。
IV.モデルまたはシステムが事前定義されたしきい値以上のリスクを引き起こす場合に従う予定の明示的なプロセスを設定します。これには、残留リスクがしきい値未満にとどまると評価した場合にのみ、システムとモデルをさらに開発および展開するプロセスが含まれます。極端な場合、リスクをしきい値以下に抑えるために緩和策を適用できない場合、組織はモデルやシステムの開発や導入をまったく行わないことを約束します。
V.リスクの評価と特定、しきい値の定義、緩和の有効性など、コミットメント i ～ iv を実行する能力を向上させるために継続的に投資します。これには、緩和策の適切性を評価および監視し、リスクが事前に定義されたしきい値を下回るようにするために必要に応じて追加の緩和策を特定するプロセスが含まれる必要があります。 AI リスクの特定、評価、軽減に関する新たなベスト プラクティス、国際標準、科学に貢献し、それらを考慮します。
結果 2. 組織は、フロンティアを安全に開発および展開する責任があります。 AI モデルとシステム。
VI.内部の説明責任とガバナンスのフレームワークを開発して継続的に見直し、そのための役割、責任、および十分なリソースを割り当てるなど、I ～ V で概説されたコミットメントを遵守します。
成果 3. フロンティア AI に対する組織のアプローチ政府を含む外部関係者に対して安全性が適切に透明であること。
VII.リスクを増大させたり、社会的利益に不釣り合いな程度に商業上の機密情報を漏洩したりする場合を除き、上記（I～VI）の実施に関して公共の透明性を提供すること。政府は、公に共有できないより詳細な情報を、必要に応じて、それぞれの本拠地政府や指定機関など、信頼できる関係者と共有する必要があります。
VIII.政府、市民社会、学者、一般大衆などの外部主体が、AI モデルとシステムのリスク、安全フレームワークの適切性を評価するプロセスにどのように関与するかについて説明します (I-で説明されているように)。 VI) とその枠組みの遵守。」
世界協力と将来計画
共同執筆の論説では、英国のリシ・スナック首相と韓国のユン・ソクヨル大統領は加速の緊急性を強調したAI ガバナンスへの取り組み ソウルサミットでは、利益を最大化しリスクを軽減するための AI ガバナンスの枠組み間の相互運用性の重要性を強調するソウル宣言も採択されました。オーストラリア、国連、OECD、EU と業界リーダー。
