OpenAI está lidiando con una agitación interna mientras su equipo Superalignment, responsable de administrar y guiar los sistemas de IA”superinteligentes”, enfrenta severas limitaciones de recursos. El equipo, al que inicialmente se le prometió el 20 % de los recursos informáticos de la empresa, con frecuencia ha recibido solicitudes de incluso una fracción de ese cálculo fue denegada, según una fuente.
Renuncias clave y declaraciones públicas
Los problemas de asignación de recursos han llevado a la renuncia de varios miembros del equipo. miembros, incluido el codirector Jan Leike, ex investigador de DeepMind Leike, que ha desempeñado un papel importante en el desarrollo de ChatGPT, GPT-4 y InstructGPT, citó públicamente desacuerdos con el liderazgo de OpenAI con respecto a las prioridades centrales de la compañía. En una serie de publicaciones en X, Leike expresó su preocupación sobre el enfoque de la compañía, afirmando que se deberían dedicar más esfuerzos a prepararse para la futura IA. modelos, enfatizando la seguridad, el monitoreo, la protección y el impacto social.
Ayer fue mi último día como jefe de alineación, líder de superalineación y ejecutivo @OpenAI.
— Jan Leike (@janleike) 17 de mayo de 2024
Formación y objetivos del equipo de Superalignment
Formado en julio del año anterior, el equipo de Superalignment estaba dirigido por Leike y el cofundador de OpenAI, Ilya Sutskever. El equipo tenía como objetivo abordar los desafíos técnicos que plantea el control de la IA superinteligente en un plazo de cuatro años. Incluía científicos e ingenieros de la división de alineación de OpenAI e investigadores de otras organizaciones. La misión del equipo era contribuir a la seguridad de los modelos de IA a través de la investigación y un programa de subvenciones que apoyara a investigadores externos.
A pesar de publicar investigaciones sobre seguridad y distribuir millones en subvenciones, el equipo de Superalignment tuvo dificultades mientras el liderazgo de OpenAI se centraba cada vez más en lanzamiento de productos. El conflicto interno se vio exacerbado por la salida de Sutskever, tras un intento fallido de la antigua junta directiva de OpenAI de destituir al director ejecutivo Sam Altman. El papel de Sutskever fue esencial para unir el equipo de Superalignment con otras divisiones y defender su importancia ante los tomadores de decisiones clave.
[contenido incrustado]
Despidos y salidas adicionales
La agitación dentro del equipo de Superalignment también provocó el despido de dos investigadores, Leopold Aschenbrenner y Pavel Izmailov, por filtrar secretos de la empresa. Otro miembro del equipo, William Saunders, dejó OpenAI en febrero. Además, dos investigadores de OpenAI que trabajan en políticas y gobernanza de la IA, Cullen O’Keefe y Daniel Kokotajlo, parecen haber dejado la empresa recientemente. OpenAI se negó a comentar sobre las salidas de Sutskever u otros miembros del equipo de Superalignment, o el futuro de su trabajo sobre los riesgos de IA a largo plazo.
Tras las renuncias, John Schulman, otro cofundador de OpenAI, ha asumido la responsabilidad del trabajo que anteriormente realizaba el equipo de Superalignment. Sin embargo, el equipo ya no existirá como una entidad dedicada; en cambio, sus funciones se integrarán en varias divisiones de la empresa. Un portavoz de OpenAI ha descrito este cambio como una medida para”integrar [al equipo] más profundamente”, aunque existe la preocupación de que esta integración pueda diluir el enfoque en la seguridad de la IA.
Seguridad más amplia de la IA de OpenAI Esfuerzos
La disolución del equipo de Superalignment plantea dudas sobre el compromiso de OpenAI de garantizar la seguridad y la alineación de sus desarrollos de IA. OpenAI mantiene otro grupo de investigación llamado Equipo de Preparación, que se centra en cuestiones como la privacidad. , manipulación emocional y riesgos de ciberseguridad. La compañía también ha sido una de las primeras en desarrollar y lanzar públicamente proyectos experimentales de inteligencia artificial, incluida una nueva versión de ChatGPT basada en el nuevo modelo multimodal GPT-4o, que permite a ChatGPT ver el mundo y conversar en un. manera más natural y humana Durante una demostración transmitida en vivo, la nueva versión de ChatGPT imitó las emociones humanas e intentó coquetear con los usuarios.
Los estatutos de OpenAI lo vinculan al desarrollo seguro de inteligencia artificial general para el beneficio de la humanidad. El equipo de Superalignment se posicionó públicamente como el equipo principal que trabaja en el problema de controlar una IA potencialmente superinteligente. Los recientes conflictos internos y problemas de asignación de recursos ensombrecen la misión de la empresa de desarrollar la IA de forma responsable.
