Dieciséis destacadas empresas de inteligencia artificial, incluidas Google, Microsoft, IBM y OpenAI, han acordado desactivar sus tecnologías si muestran signos de provocar resultados perjudiciales. Este compromiso se asumió durante la AI Seúl Summit 2024 en Corea del Sur, un evento importante después de la Cumbre de Seguridad de la IA del año pasado. La cumbre anterior resultó en la Declaración de Bletchley, firmada por 28 naciones y la UE, que esbozó una visión para gestionar los riesgos de la IA sin compromisos vinculantes.
Compromisos de seguridad de la IA de Frontier
La Cumbre de Seúl ha introducido los Compromisos de seguridad de Frontier AI, que exigen que las empresas participantes publiquen marcos de seguridad. Estos marcos detallarán cómo planean medir y gestionar los riesgos asociados con sus modelos de IA. Las empresas deben especificar cuándo los riesgos se vuelven inaceptables y delinear las acciones que tomarán en tales escenarios. Si las mitigaciones de riesgos fallan, los firmantes se han comprometido a detener el desarrollo o implementación del modelo o sistema de IA problemático.
Los firmantes se han comprometido con varias iniciativas, incluida la unión de sus modelos de IA, el intercambio de información y la inversión. en ciberseguridad e incentivar la presentación de informes de vulnerabilidades de terceros. También se han comprometido a etiquetar el contenido generado por IA, priorizar la investigación sobre riesgos sociales y utilizar la IA para abordar los desafíos globales.
Entre los firmantes se encuentran OpenAI, Microsoft, Amazon, Anthropic, Cohere, G42, Inflection AI, Meta, Mistral AI, Naver, Samsung Electronics, Technology Instituto de Innovación, xAI y Zhipu.ai. Se espera que los detalles específicos de estos compromisos se finalicen en “Cumbre de Acción de IA”programada para principios de 2025.
Las organizaciones han acordado lo siguiente: Frontier AI Compromisos de seguridad:
“Resultado 1. Las organizaciones identificarán, evaluarán y gestionarán eficazmente los riesgos al desarrollar e implementar sus modelos y sistemas de IA de vanguardia.
I. Evaluar los riesgos que plantean sus modelos o sistemas de frontera a lo largo del ciclo de vida de la IA, incluso antes de implementar ese modelo o sistema y, según corresponda, antes y durante la capacitación. Las evaluaciones de riesgos deben considerar las capacidades del modelo y el contexto en el que se desarrollan y. implementadas, así como la eficacia de las mitigaciones implementadas para reducir los riesgos asociados con su uso y mal uso previsibles. También deben considerar los resultados de las evaluaciones internas y externas, según corresponda, como las realizadas por evaluadores externos independientes y sus gobiernos de origen[nota al pie 2]. ], y otros organismos que sus gobiernos consideren apropiados.
II. Establecer umbrales[nota al pie 3] en los que los riesgos graves planteados por un modelo o sistema, a menos que se mitiguen adecuadamente, se considerarían intolerables. Evaluar si se han superado estos umbrales, incluido el seguimiento de qué tan cerca está un modelo o sistema de dicha violación. Estos umbrales deben definirse con aportes de actores confiables, incluidos los respectivos gobiernos de origen de las organizaciones, según corresponda. Deberían alinearse con los acuerdos internacionales pertinentes de los que sean parte sus gobiernos de origen. También deben ir acompañados de una explicación de cómo se decidieron los umbrales y de ejemplos específicos de situaciones en las que los modelos o sistemas plantearían un riesgo intolerable.
III. Articular cómo se identificarán e implementarán las mitigaciones de riesgos para mantener los riesgos dentro de los umbrales definidos, incluidas las mitigaciones de riesgos relacionados con la seguridad y la protección, como la modificación de los comportamientos del sistema y la implementación de controles de seguridad sólidos para pesos de modelos no publicados.
IV. Establecer procesos explícitos que pretenden seguir si su modelo o sistema plantea riesgos que cumplen o superan los umbrales predefinidos. Esto incluye procesos para seguir desarrollando e implementando sus sistemas y modelos solo si evalúan que los riesgos residuales se mantendrían por debajo de los umbrales. En casos extremos, las organizaciones se comprometen a no desarrollar ni implementar ningún modelo o sistema si no se pueden aplicar mitigaciones para mantener los riesgos por debajo de los umbrales.
V. Invertir continuamente en mejorar su capacidad para implementar los compromisos i-iv, incluida la evaluación e identificación de riesgos, la definición de umbrales y la eficacia de la mitigación. Esto debería incluir procesos para evaluar y monitorear la idoneidad de las mitigaciones e identificar mitigaciones adicionales según sea necesario para garantizar que los riesgos permanezcan por debajo de los umbrales predefinidos. Contribuirán y tendrán en cuenta las mejores prácticas emergentes, los estándares internacionales y la ciencia sobre la identificación, evaluación y mitigación de riesgos de IA.
Resultado 2. Las organizaciones son responsables de desarrollar y desplegar de forma segura su frontera. Modelos y sistemas de IA. Ellos:
VI. Adherirse a los compromisos descritos en I-V, incluso desarrollando y revisando continuamente marcos internos de rendición de cuentas y gobernanza y asignando roles, responsabilidades y recursos suficientes para hacerlo.
Resultado 3. Enfoques de las organizaciones hacia la IA de frontera seguridad son adecuadamente transparentes para los actores externos, incluidos los gobiernos. Ellos:
VII. Proporcionar transparencia pública sobre la implementación de lo anterior (I-VI), excepto en la medida en que hacerlo aumentaría el riesgo o divulgaría información comercial sensible en un grado desproporcionado para el beneficio social. Aún así deberían compartir información más detallada que no puede compartirse públicamente con actores confiables, incluidos sus respectivos gobiernos de origen u organismos designados, según corresponda.
VIII. Explique cómo, en todo caso, los actores externos, como los gobiernos, la sociedad civil, los académicos y el público, participan en el proceso de evaluación de los riesgos de sus modelos y sistemas de IA, la idoneidad de su marco de seguridad (como se describe en I-VI), y su adhesión a ese marco.”
Cooperación global y planes futuros
En un artículo de opinión escrito conjuntamente, El primer ministro británico, Rishi Sunak, y el presidente surcoreano, Yoon Suk Yeol, enfatizaron la urgencia de acelerar esfuerzos en la gobernanza de la IA. La Cumbre de Seúl también vio la adopción de la Declaración de Seúl, que destaca la importancia de la interoperabilidad entre los marcos de gobernanza de la IA para maximizar los beneficios y mitigar los riesgos. Esta declaración fue respaldada por representantes del G7, Singapur, Australia, la ONU, la OCDE y la UE, junto con líderes de la industria.
