Jan Leike, um proeminente pesquisador de IA, fez a transição do OpenAI para o Anthropic. Leike, que recentemente criticou a abordagem da OpenAI em relação à segurança da IA e renunciou ao cargo de chefe da equipe de superalinhamento, liderará uma nova equipe de “superalinhamento” na Anthropic.
Leike anunciou por meio de uma postagem no X que sua nova equipe na Anthropic se concentrará em várias facetas da segurança e proteção da IA. As principais áreas de foco incluirão supervisão escalonável, generalização de fraco a forte e pesquisa de alinhamento automatizado.
Estou animado para participar <.@AnthropicAI para continuar a missão de superalinhamento!
Minha nova equipe trabalhará em supervisão escalonável, generalização de fraco a forte e pesquisa de alinhamento automatizada.
Se você estiver interessado em participar, meus dms estão abertos.
— Jan Leike (@janleike) 28 de maio de 2024
Uma fonte familiarizada com o assunto disse ao TechCrunch que Leike se reportará diretamente a Jared Kaplan, diretor científico da Anthropic. Os pesquisadores da Anthropic atualmente envolvidos na supervisão escalonável agora se reportarão a Leike quando sua equipe iniciar seu trabalho.
A nova função de Leike na Anthropic tem semelhanças com sua posição anterior na OpenAI, onde co-liderou a equipe de Superalignment. Esta equipe pretendia enfrentar os desafios técnicos de controle da IA superinteligente dentro de quatro anos, mas enfrentou obstáculos devido às decisões de liderança da OpenAI.
✨🪩 Uau! 🪩✨
Jan liderou alguns trabalhos extremamente importantes sobre segurança técnica de IA e estou emocionado por trabalhar com ele! Estaremos liderando equipes gêmeas voltadas para diferentes partes do problema de alinhamento dos sistemas de IA no nível humano e além. https://t.co/aqSFTnOEG0
— Sam Bowman (@sleepinyourhat) 28 de maio de 2024
Abordagem de segurança em primeiro lugar da Anthropic
A Anthropic tem se posicionado consistentemente como priorizando mais a segurança do que a OpenAI. Esta postura reflete-se na sua liderança, tendo o CEO Dario Amodei, antigo vice-presidente de investigação da OpenAI, deixado a empresa devido a divergências sobre a sua direção comercial. Amodei, junto com vários ex-funcionários da OpenAI, incluindo o ex-líder de políticas Jack Clark, fundou a Anthropic com foco na segurança de IA.
A saída de Dario Amodei da OpenAI foi motivada por uma divergência de visão, especialmente em relação à empresa. aumentando o foco comercial. Essa divisão levou à formação da Anthropic, que desde então atraiu vários ex-funcionários da OpenAI que compartilham o compromisso de priorizar a segurança da IA e considerações éticas.
A mudança de Leike para a Anthropic ressalta uma ênfase crescente na segurança da IA na indústria.. Ao liderar a nova equipe de superalinhamento, Leike pretende avançar na pesquisa em supervisão e alinhamento escalonáveis, garantindo que os sistemas de IA se comportem de maneira previsível e desejável.
Demissões na OpenAI e no Novo Comitê de Segurança
Na OpenAI, problemas de alocação de recursos levaram à demissão de vários membros da equipe, incluindo o colíder Jan Leike, ex-pesquisador da DeepMind.
Leike, que desempenhou um papel significativo no desenvolvimento de ChatGPT, GPT-4 e InstructGPT, citou publicamente divergências com a liderança da OpenAI em relação às principais prioridades da empresa. Em uma série de postagens no X, Leike expressou preocupação com o foco da empresa, afirmando que mais esforços deveriam ser dedicados à preparação para futuros modelos de IA, enfatizando segurança, monitoramento, proteção e impacto social.
Enquanto isso, A OpenAI anunciou a criação de um novo Comitê de Segurança e Proteção dentro de seu Conselho de Administração para supervisionar a segurança de seus sistemas generativos de IA.
O comitê inclui o CEO da OpenAI, Sam Altman, os membros do conselho Bret Taylor, Adam D’Angelo e Nicole Seligman, juntamente com o cientista-chefe Jakub Pachocki e o chefe de segurança Matt Knight. O comitê também consultará especialistas externos em segurança e proteção.
No início deste mês, a OpenAI apresentou o GPT-4o, uma versão aprimorada de seu modelo GPT-4 , que apresenta interações de voz mais realistas. Esta versão está disponível para usuários gratuitos e pagos do GPT-4.
