Jan Leike, ein bekannter KI-Forscher, ist von OpenAI zu Anthropic gewechselt. Leike, der kürzlich OpenAIs Ansatz zur KI-Sicherheit kritisierte und als Leiter des Superalignment-Teams zurücktrat, wird ein neues „Superalignment“-Team bei Anthropic leiten.
Leike gab über einen Beitrag auf X bekannt, dass sein neues Team bei Anthropic wird sich auf verschiedene Aspekte der KI-Sicherheit konzentrieren. Zu den Hauptschwerpunkten gehören skalierbare Aufsicht, schwache bis starke Verallgemeinerung und automatisierte Ausrichtungsforschung.
Ich freue mich, mitzumachen @AnthropicAI, um die Superalignment-Mission fortzusetzen!
Mein neues Team wird an skalierbarer Aufsicht, schwacher bis starker Verallgemeinerung und automatisierter Ausrichtungsforschung arbeiten.
Wenn Sie Interesse haben, mitzumachen, sind meine DMs geöffnet.
-Jan Leike (@janleike) 28. Mai 2024
Eine mit der Angelegenheit vertraute Quelle teilte TechCrunch mit, dass Leike direkt an Jared Kaplan, den Chief Science Officer von Anthropic, berichten wird. Forscher bei Anthropic, die sich derzeit mit der skalierbaren Aufsicht befassen, werden nun Leike Bericht erstatten, wenn sein Team seine Arbeit aufnimmt.
Leikes neue Rolle bei Anthropic ähnelt seiner vorherigen Position bei OpenAI, wo er das Superalignment-Team mit leitete. Dieses Team wollte die technischen Herausforderungen der Steuerung superintelligenter KI innerhalb von vier Jahren bewältigen, stieß jedoch aufgrund der Führungsentscheidungen von OpenAI auf Hindernisse.
✨🪩 Woo! 🪩✨
Jan hat einige bahnbrechende Arbeiten zur technischen KI-Sicherheit geleitet und ich freue mich sehr, mit ihm zusammenzuarbeiten! Wir werden Doppelteams leiten, die sich mit verschiedenen Teilen des Problems befassen, KI-Systeme auf menschlicher Ebene und darüber hinaus auszurichten. https://t.co/aqSFTnOEG0
– Sam Bowman (@sleepinyourhat) 28. Mai 2024
Anthropics Safety-First-Ansatz
Anthropic hat sich konsequent so positioniert, dass Sicherheit mehr Priorität hat als OpenAI. Diese Haltung spiegelt sich in der Führung des Unternehmens wider: CEO Dario Amodei, ein ehemaliger Vizepräsident für Forschung bei OpenAI, hat das Unternehmen aufgrund von Meinungsverschiedenheiten über seine kommerzielle Ausrichtung verlassen. Amodei gründete zusammen mit mehreren ehemaligen OpenAI-Mitarbeitern, darunter dem ehemaligen politischen Leiter Jack Clark, Anthropic mit Schwerpunkt auf KI-Sicherheit.
Dario Amodeis Abschied von OpenAI war auf unterschiedliche Visionen zurückzuführen, insbesondere in Bezug auf die des Unternehmens zunehmender kommerzieller Fokus. Diese Spaltung führte zur Gründung von Anthropic, das seitdem mehrere ehemalige OpenAI-Mitarbeiter angezogen hat, die sich für die Priorisierung der KI-Sicherheit und ethischer Überlegungen einsetzen.
Leikes Wechsel zu Anthropic unterstreicht die wachsende Bedeutung der KI-Sicherheit in der Branche. Durch die Leitung des neuen Superalignment-Teams möchte Leike die Forschung im Bereich skalierbare Überwachung und Ausrichtung vorantreiben und sicherstellen, dass sich KI-Systeme auf vorhersehbare und wünschenswerte Weise verhalten.
Rücktritte bei OpenAI und New Safety Committee
Bei OpenAI haben Probleme bei der Ressourcenzuweisung zum Rücktritt mehrerer Teammitglieder geführt, darunter Co-Leiter Jan Leike, ein ehemaliger DeepMind-Forscher.
Leike, der eine wichtige Rolle gespielt hat Bei der Entwicklung von ChatGPT, GPT-4 und InstructGPT wurden öffentlich Unstimmigkeiten mit der OpenAI-Führung bezüglich der Kernprioritäten des Unternehmens angeführt. In einer Reihe von Posts auf OpenAI hat die Einrichtung eines neuen Sicherheitsausschusses innerhalb seines Vorstands angekündigt, der die Sicherheit seiner generativen KI-Systeme überwachen soll.
Dem Ausschuss gehören der CEO von OpenAI, Sam Altman, die Vorstandsmitglieder Bret Taylor und Adam D’an. Angelo und Nicole Seligman, zusammen mit Chefwissenschaftler Jakub Pachocki und Sicherheitschef Matt Knight. Das Komitee wird sich auch mit externen Sicherheitsexperten beraten.
Anfang dieses Monats stellte OpenAI GPT-4o vor, eine erweiterte Version seines GPT-4-Modells, das realistischere Sprachinteraktionen bietet. Diese Version ist sowohl für kostenlose als auch für kostenpflichtige Benutzer von GPT-4 verfügbar.
