Jan Leike, un éminent chercheur en IA, est passé d’OpenAI à Anthropic. Leike, qui a récemment critiqué l’approche d’OpenAI en matière de sécurité de l’IA et a démissionné de son poste de chef de l’équipe de superalignement, sera le fer de lance d’une nouvelle équipe de « superalignement » chez Anthropic.
Leike a annoncé via un post sur X que sa nouvelle équipe chez Anthropic se concentrera sur diverses facettes de la sûreté et de la sécurité de l’IA. Les principaux domaines d’intérêt comprendront la surveillance évolutive, la généralisation de faible à forte et la recherche d’alignement automatisée.
Je suis ravi de rejoindre <.@AnthropicAI pour continuer la mission de superalignement !
Ma nouvelle équipe travaillera sur la surveillance évolutive, la généralisation de faible à forte et la recherche d’alignement automatisée.
Si vous souhaitez nous rejoindre, mes SMS sont ouverts.
— Jan Leike (@janleike) 28 mai 2024
Une source proche du dossier a déclaré à TechCrunch que Leike relèverait directement de Jared Kaplan, directeur scientifique d’Anthropic. Les chercheurs d’Anthropic actuellement engagés dans une surveillance évolutive relèveront désormais de Leike alors que son équipe commence son travail.
Le nouveau rôle de Leike chez Anthropic ressemble à son poste précédent chez OpenAI, où il a codirigé l’équipe Superalignment. Cette équipe avait pour objectif de relever les défis techniques liés au contrôle de l’IA superintelligente d’ici quatre ans, mais a été confrontée à des obstacles dus aux décisions de leadership d’OpenAI.
✨🪩 Woo ! 🪩✨
Jan a mené des travaux d’une importance capitale sur la sécurité technique de l’IA et je suis ravi de travailler avec lui ! Nous dirigerons des équipes jumelles visant différentes parties du problème de l’alignement des systèmes d’IA au niveau humain et au-delà. https://t.co/aqSFTnOEG0
— Sam Bowman (@sleepinyourhat) 28 mai 2024
L’approche d’Anthropic axée sur la sécurité d’abord
Anthropic s’est toujours positionné comme donnant la priorité à la sécurité plutôt qu’à OpenAI. Cette position se reflète dans son leadership, le PDG Dario Amodei, ancien vice-président de la recherche chez OpenAI, ayant quitté l’entreprise en raison de désaccords sur son orientation commerciale. Amodei, avec plusieurs anciens employés d’OpenAI, dont l’ancien responsable politique Jack Clark, a fondé Anthropic en mettant l’accent sur la sécurité de l’IA.
Le départ de Dario Amodei d’OpenAI a été motivé par une divergence de vision, en particulier en ce qui concerne les activités de l’entreprise. orientation commerciale croissante. Cette scission a conduit à la création d’Anthropic, qui a depuis attiré plusieurs anciens employés d’OpenAI qui partagent un engagement à donner la priorité à la sécurité de l’IA et aux considérations éthiques.
Le passage de Leike à Anthropic souligne l’importance croissante accordée à la sécurité de l’IA au sein de l’industrie.. En dirigeant la nouvelle équipe de superalignement, Leike vise à faire progresser la recherche en matière de surveillance et d’alignement évolutifs, en garantissant que les systèmes d’IA se comportent de manière prévisible et souhaitable.
Démissions chez OpenAI et nouveau comité de sécurité
Chez OpenAI, des problèmes d’allocation des ressources ont conduit à la démission de plusieurs membres de l’équipe, dont le co-responsable Jan Leike, un ancien chercheur de DeepMind.
Leike, qui a joué un rôle important dans le développement de ChatGPT, GPT-4 et InstructGPT, ont publiquement évoqué des désaccords avec la direction d’OpenAI concernant les priorités fondamentales de l’entreprise. Dans une série d’articles sur X, Leike a exprimé ses inquiétudes quant à l’orientation de l’entreprise, déclarant que davantage d’efforts devraient être consacrés à la préparation des futurs modèles d’IA, en mettant l’accent sur la sécurité, la surveillance, la sûreté et l’impact sociétal.
Pendant ce temps, OpenAI a annoncé la création d’un nouveau comité de sûreté et de sécurité au sein de son conseil d’administration pour superviser la sécurité de ses systèmes d’IA générative.
Le comité comprend le PDG d’OpenAI, Sam Altman, les membres du conseil d’administration Bret Taylor, Adam D’Angelo et Nicole Seligman, ainsi que le scientifique en chef Jakub Pachocki et le chef de la sécurité Matt Knight. Le comité consultera également des experts externes en matière de sûreté et de sécurité.
Plus tôt ce mois-ci, OpenAI a présenté GPT-4o, une version améliorée de son modèle GPT-4, qui propose des interactions vocales plus réalistes. Cette version est disponible pour les utilisateurs gratuits et payants de GPT-4.
