A OpenAI está enfrentando turbulências internas à medida que sua equipe de Superalignment, responsável por gerenciar e orientar sistemas de IA “superinteligentes”, enfrenta severas limitações de recursos. A equipe, inicialmente prometida 20% dos recursos de computação da empresa, tem recebido frequentemente solicitações de uma fração dessa computação foi negada, de acordo com uma fonte.
Principais demissões e declarações públicas
Os problemas de alocação de recursos levaram à demissão de várias equipes membros, incluindo o colíder Jan Leike, ex-pesquisador da DeepMind Leike, que desempenhou um papel significativo no desenvolvimento do ChatGPT, GPT-4 e InstructGPT, citou publicamente divergências com a liderança da OpenAI em relação às principais prioridades da empresa. Em uma série de postagens no X, Leike expressou preocupação sobre o foco da empresa, afirmando que mais esforços deveriam ser dedicados à preparação para a futura IA modelos, enfatizando segurança, monitoramento, proteção e impacto social.
Ontem foi meu último dia como chefe de alinhamento, líder de superalinhamento e executivo @OpenAI.
— Jan Leike (@janleike) 17 de maio de 2024
Formação e objetivos da equipe de superalinhamento
Formada em julho do ano anterior, a equipe de superalinhamento foi liderada por Leike e pelo cofundador da OpenAI, Ilya Sutskever. A equipe pretendia enfrentar os desafios técnicos de controle da IA superinteligente dentro de quatro anos. Incluía cientistas e engenheiros da divisão de alinhamento da OpenAI e pesquisadores de outras organizações. A missão da equipe era contribuir para a segurança dos modelos de IA por meio de pesquisas e um programa de subsídios que apoiasse pesquisadores externos.
Apesar de publicar pesquisas sobre segurança e distribuir milhões em subsídios, a equipe do Superalignment enfrentou dificuldades enquanto a liderança da OpenAI se concentrava cada vez mais em lançamentos de produtos. O conflito interno foi agravado pela saída de Sutskever, após uma tentativa fracassada do antigo conselho da OpenAI de destituir o CEO Sam Altman. O papel de Sutskever foi essencial para unir a equipe de Superalinhamento com outras divisões e defender sua importância para os principais tomadores de decisão.
[conteúdo incorporado]
Demissões e saídas adicionais
A turbulência dentro da equipe do Superalignment também resultou na demissão de dois pesquisadores, Leopold Aschenbrenner e Pavel Izmailov, por vazarem segredos da empresa. Outro membro da equipe, William Saunders, deixou a OpenAI em fevereiro. Além disso, dois pesquisadores da OpenAI que trabalham em políticas e governança de IA, Cullen O’Keefe e Daniel Kokotajlo, parecem ter deixado a empresa recentemente. A OpenAI se recusou a comentar sobre as saídas de Sutskever ou de outros membros da equipe do Superalignment, ou sobre o futuro de seu trabalho em riscos de IA de longo prazo.
Após as demissões, John Schulman, outro cofundador da OpenAI, assumiu a responsabilidade pelo trabalho anteriormente realizado pela equipe do Superalignment. No entanto, a equipa deixará de existir como uma entidade dedicada; em vez disso, suas funções serão integradas em diversas divisões da empresa. Um porta-voz da OpenAI descreveu essa mudança como um movimento para “integrar [a equipe] mais profundamente”, embora haja preocupações de que essa integração possa diluir o foco na segurança da IA.
Segurança mais ampla da IA da OpenAI Esforços
A dissolução da equipe de Superalinhamento levanta questões sobre o compromisso da OpenAI em garantir a segurança e o alinhamento de seus desenvolvimentos de IA. A OpenAI mantém outro grupo de pesquisa chamado equipe de Preparação, que se concentra em questões como privacidade. , manipulação emocional e riscos de segurança cibernética A empresa também foi cedo para desenvolver e lançar publicamente projetos experimentais de IA, incluindo uma nova versão do ChatGPT baseada no novo modelo multimodal GPT-4o, que permite ao ChatGPT ver o mundo e conversar em um ambiente. de maneira mais natural e humana. Durante uma demonstração transmitida ao vivo, a nova versão do ChatGPT imitou as emoções humanas e tentou flertar com os usuários.
O estatuto da OpenAI vincula-a ao desenvolvimento seguro de inteligência artificial geral para o benefício da humanidade. A equipe do Superalignment foi posicionada publicamente como a principal equipe que trabalha no problema de controle de IA potencialmente superinteligente. Os recentes conflitos internos e problemas de alocação de recursos lançam uma sombra sobre a missão da empresa de desenvolver IA de forma responsável.
