El director ejecutivo de OpenAI, Sam Altman, y Greg Brockman, cofundador y actualmente presidente de OpenAI, han abordado las preocupaciones sobre la seguridad de la IA tras la renuncia de Jan Leike. Subrayaron el compromiso de OpenAI con pruebas rigurosas, retroalimentación continua y colaboración con gobiernos y partes interesadas para garantizar protocolos de seguridad sólidos.
Cambios de liderazgo y preocupaciones de seguridad
Enero Leike, quien codirigió el equipo de superalineación con Ilya Sutskever, renunció después de expresar su preocupación de que la seguridad se estaba dejando de lado en favor de avances rápidos. Tanto las salidas de Leike como de Sutskever han puesto de relieve los desacuerdos internos sobre la priorización de la seguridad frente a la innovación. El equipo de superalineación, formado hace menos de un año, tenía la tarea de explorar formas de gestionar IA superinteligentes.
Jan Leike, en un hilo en X (anteriormente Twitter), explicó que no había estado de acuerdo con el liderazgo de la empresa. sobre sus”prioridades centrales”durante”bastante tiempo”, lo que llevó a un”punto de ruptura”. Leike afirmó que la”cultura y los procesos de seguridad de OpenAI han pasado a un segundo plano frente a los productos brillantes”en los últimos años, y su equipo luchó por obtener la información necesaria. recursos para su trabajo de seguridad.
Altman respondió por primera vez con una breve respuesta a la publicación de Leike del viernes, reconociendo que OpenAI tiene”mucho más por hacer”y está”comprometida a hacerlo”, prometiendo que próximamente habrá una publicación más larga. El sábado, Brockman publicó una respuesta compartida tanto de él como de Altman en X, expresando gratitud por el trabajo de Leike y respondiendo preguntas luego de la renuncia.
Estamos realmente agradecidos con Jan por todo lo que ha hecho por OpenAI, y sabemos que seguirá contribuyendo a la misión desde fuera. A la luz de las preguntas que ha planteado su partida, queríamos explicar un poco cómo pensamos acerca de nuestra estrategia general.
Primero, tenemos… https://t.co/djlcqEiLLN
— Greg Brockman (@gdb) 18 de mayo de 2024
Brockman y Altman destacaron que OpenAI ha”demostrado repetidamente las increíbles posibilidades de ampliar el aprendizaje profundo y analizó sus implicaciones”, y pidieron una gobernanza internacional de la Inteligencia General Artificial (AGI) antes de que tales llamados se hicieran populares. Citaron el Marco de Preparación de la compañía, que predice”riesgos catastróficos”y busca mitigarlos, como una forma de elevar el trabajo de seguridad.
En su declaración detallada, Altman y Brockman reconocieron las complejidades de garantizar que la nueva tecnología sea segura y describieron su enfoque para la seguridad de la IA. Destacaron los esfuerzos de OpenAI para crear conciencia sobre los riesgos y oportunidades de la AGI, abogar por la gobernanza internacional y desarrollar métodos para evaluar los sistemas de IA en busca de riesgos catastróficos. También señalaron el extenso trabajo realizado para implementar GPT-4 de manera segura y las mejoras continuas basadas en los comentarios de los usuarios.
Direcciones futuras e investigación de seguridad
Mirando En el futuro, Altman y Brockman anticipan que los futuros modelos de IA estarán más integrados con aplicaciones del mundo real y serán capaces de realizar tareas en nombre de los usuarios. Creen que estos sistemas ofrecerán beneficios sustanciales, pero requerirán un trabajo fundamental, incluida una supervisión escalable y una consideración cuidadosa de los datos de capacitación. Destacaron la importancia de mantener un alto estándar de seguridad, incluso si eso significa retrasar los plazos de lanzamiento.
Altman y Brockman concluyeron afirmando que no existe una guía establecida para recorrer el camino hacia AGI. Creen que la comprensión empírica guiará el camino a seguir y están comprometidos a equilibrar los beneficios potenciales con la mitigación de riesgos graves. Reafirmaron su compromiso con la investigación de seguridad en diferentes escalas de tiempo y la colaboración continua con gobiernos y partes interesadas.
