Jan Leike, un importante ricercatore nel campo dell’intelligenza artificiale, è passato da OpenAI ad Anthropic. Leike, che recentemente ha criticato l’approccio di OpenAI alla sicurezza dell’intelligenza artificiale e si è dimesso dalla carica di capo del team di superallineamento, guiderà un nuovo team di”superallineamento”presso Anthropic.
Leike ha annunciato tramite un post su X che il suo nuovo team presso Anthropic si concentrerà su vari aspetti della sicurezza e della protezione dell’intelligenza artificiale. Le principali aree di interesse includeranno la supervisione scalabile, la generalizzazione da debole a forte e la ricerca sull’allineamento automatizzato.
Sono entusiasta di unirmi a <.@AnthropicAI per continuare la missione di superallineamento!
Il mio nuovo team lavorerà su una supervisione scalabile, sulla generalizzazione da debole a forte e sulla ricerca di allineamento automatizzato.
Se sei interessato a iscriverti, i miei messaggi diretti sono aperti.
— Jan Leike (@janleike) 28 maggio 2024
Una fonte a conoscenza della questione ha detto a TechCrunch che Leike riferirà direttamente a Jared Kaplan, responsabile scientifico di Anthropic. I ricercatori di Anthropic attualmente impegnati nella supervisione scalabile riferiranno ora a Leike non appena il suo team inizierà il suo lavoro.
Il nuovo ruolo di Leike presso Anthropic somiglia alla sua precedente posizione presso OpenAI, dove ha co-guidato il team di Superalignment. Questo team mirava ad affrontare le sfide tecniche legate al controllo dell’IA superintelligente entro quattro anni, ma ha dovuto affrontare ostacoli dovuti alle decisioni della leadership di OpenAI.
✨🪩 Woo! 🪩✨
Jan ha condotto un lavoro fondamentale sulla sicurezza tecnica dell’IA e sono entusiasta di lavorare con lui! Guideremo team gemelli mirati a diverse parti del problema dell’allineamento dei sistemi di intelligenza artificiale a livello umano e oltre. https://t.co/aqSFTnOEG0
— Sam Bowman (@sleepinyourhat) 28 maggio 2024
L’approccio di Anthropic mette la sicurezza al primo posto
Anthropic si è costantemente posizionata dando priorità alla sicurezza più di OpenAI. Questa posizione si riflette nella sua leadership, con il CEO Dario Amodei, ex vicepresidente della ricerca di OpenAI, che ha lasciato l’azienda a causa di disaccordi sulla sua direzione commerciale. Amodei, insieme a diversi ex dipendenti di OpenAI, tra cui l’ex responsabile politico Jack Clark, ha fondato Anthropic con particolare attenzione alla sicurezza dell’intelligenza artificiale.
L’uscita di Dario Amodei da OpenAI è stata guidata da una divergenza di visione, in particolare per quanto riguarda gli obiettivi dell’azienda. crescente focalizzazione commerciale. Questa divisione ha portato alla formazione di Anthropic, che da allora ha attirato diversi ex dipendenti di OpenAI che condividono l’impegno a dare priorità alla sicurezza dell’IA e alle considerazioni etiche.
Il passaggio di Leike ad Anthropic sottolinea una crescente enfasi sulla sicurezza dell’IA all’interno del settore.. Guidando il nuovo team di superallineamento, Leike mira a far avanzare la ricerca nel campo della supervisione e dell’allineamento scalabili, garantendo che i sistemi di intelligenza artificiale si comportino in modi prevedibili e desiderabili.
Dimissioni da OpenAI e dal nuovo comitato per la sicurezza
In OpenAI, i problemi di allocazione delle risorse hanno portato alle dimissioni di diversi membri del team, incluso il co-responsabile Jan Leike, un ex ricercatore di DeepMind.
Leike, che ha svolto un ruolo significativo nello sviluppo di ChatGPT, GPT-4 e InstructGPT, ha citato pubblicamente i disaccordi con la leadership di OpenAI riguardo alle priorità principali dell’azienda. In una serie di post su X, Leike ha espresso preoccupazione per l’attenzione dell’azienda, affermando che si dovrebbero dedicare maggiori sforzi alla preparazione dei futuri modelli di intelligenza artificiale, sottolineando la sicurezza, il monitoraggio, la protezione e l’impatto sociale.
Nel frattempo, OpenAI ha annunciato la creazione di un nuovo comitato per la sicurezza e la protezione all’interno del suo Consiglio di amministrazione per supervisionare la sicurezza dei suoi sistemi di intelligenza artificiale generativa.
Il comitato comprende il CEO di OpenAI Sam Altman, i membri del consiglio Bret Taylor, Adam D’Angelo e Nicole Seligman, insieme al capo scienziato Jakub Pachocki e al capo della sicurezza Matt Knight. Il comitato si consulterà anche con esperti esterni di sicurezza e protezione.
All’inizio di questo mese, OpenAI ha introdotto GPT-4o, una versione migliorata del suo modello GPT-4, che presenta interazioni vocali più realistiche. Questa versione è disponibile sia per gli utenti gratuiti che per quelli a pagamento di GPT-4.
