Steven Adler, der vier Jahre bei OpenAI an Sicherheitsforschung arbeitete, hat offen die Geschwindigkeit kritisiert, mit der Organisationen künstliche allgemeine Intelligenz (AGI) verfolgen. November, Adler wurde nun zu X , um seine Befürchtungen über die Zukunft der Menschheit zu artikulieren, wenn AI-Systeme ohne angemessene Sicherheitsvorkehrungen weiter voranschreiten.
In einer Reihe von Posts bot er einen offenen Blick auf das, was er als „Rasse“ ansieht, um immer leistungsstärkere KI zu entwickeln, trotz wichtiger ungelösten Sicherheitsherausforderungen.://winbuzzer.com/wp-content/uploads/2024/12/openai-profit-money.webp”>
„ Einige persönliche Nachrichten: Nach vier Jahren arbeitete ich in Mitte November an der Sicherheit von @openai an”Adler schrieb.”Nach dieser Reflexion über seine Zeit in der Firma vermittelte er die Besorgnis darüber, wie schnell sich die KI entwickelt. Ich werde eine zukünftige Familie erhöhen oder wie viel zu retten, um den Ruhestand zu sparen, ich kann mich nur fragen: Wird die Menschheit es überhaupt bis zu diesem Punkt schaffen?”
Verwandte: grün Beret verwendete Chatgpt für CyberTruck Explosion. Die Reservierungen, die er in seinen letzten Monaten dort ausdrückte.
Als jemand, der direkt an der Bewertung der Fähigkeiten von Entwicklungssystemen beteiligt war, war er in die Komplexität der Sicherheitsmodelle vor ihrer öffentlichen Befreiung eingeweiht.
Obwohl er die Arbeit fand und erwähnte, dass er viele Teile davon vermissen würde, fühlte sich Adler letztendlich gezwungen, sich über die Dynamik der Branche zu äußern, die er als zu schnell für Trost hält.
Er räumte ein, dass der Fortschritt selbst nicht das Hauptproblem ist, sondern das Fehlen bewährter Methoden, um sicherzustellen, dass die fortgeschrittene KI auf menschliche Ziele übereinstimmt. GOV für US-Bundesbehörden mit sicheren Datenbearbeitung
Die Frage der Ausrichtung-Erhöhung der KI-Systeme, um ethische und sozial akzeptable Richtlinien zu befolgen, ist in vielen Forschungslabors offen ist, dass das Rennen um AGI Versuche, die Ausrichtung zu lösen, in einem seiner Beiträge übertreffen kann: „IMO ist ein AGI-Rennen ein sehr riskantes Glücksspiel mit großem Nachteil Wir fahren, desto weniger wahrscheinlich, dass jemand in der Zeit einen findet.”
Der Schweregrad seiner Phrasierung wird vom Chor von Experten übereinstimmt, die solche Vorbehalte über die Veröffentlichung hochmoderner Systeme ohne entscheidende Überprüfungen teilen. Cuts Dev, der ein Chatgpt-Roboter-Sentry-Gewehr baute. Mit einigen Mitarbeitern, die Bedenken hinsichtlich der schnellen Skalierung des Unternehmens in Ausdruck bringen.
Adlers Abreise verleiht diesen Gesprächen ein weiteres Gewicht. Er hatte einen Platz in der ersten Reihe, um wie neue Funktionen und Fähigkeiten getestet wurden, und er sah aus erster Hand, dass die Herausforderungen bei der Sicherstellung, dass KI-Systeme keinen schädlichen Inhalt lieferten oder versehentlich private Informationen offenlegten.
Während er das Fachwissen seiner Kollegen lobte, argumentierte Adler, dass im Vergleich zum Start neuer Produkte mehr Betonung auf Ausrichtungsforschung erforderlich sei. Forderung nach AI-Revolution nach der Daten:”Es gibt nur ein Internet”
Die Erklärung der zugrunde liegenden Ursache seines Unbehagen Wenn ein Labor wirklich verantwortungsbewusst entwickeln möchte, können andere immer noch die Ecken schneiden, vielleicht katastrophal.
Seine Sorge ist, dass der Wettbewerbsdruck, der die KI-Forschung treibt, ethische und politische Überlegungen überschatten könnte, die idealerweise anleiten würden, wie diese Systeme aufgebaut und eingesetzt werden.
Indem Sie auf eine kollektive Situation hinweisen-in der kein einzelnes Labor übertroffen werden will-, hob der Adler das Risiko eines globalen KI-Wettrüstens, das sich schneller entfaltet als Regulierungsbehörden oder sogar die Forscher selbst, aus.
Wettbewerbsdruck und fordert Regulierung
Mehrere Branchenbeobachter teilen die Ansicht von Adler, dass der globale KI-Wettbewerb Strategien übertreffen könnte, um unbeabsichtigte Konsequenzen zu verhindern.
Chinas Deepseek, das kürzlich sein leistungsstarkes R1-Argumentationsmodell und die Janus Multimodal Model-Serie veröffentlicht hat, die OpenAs O1 und Dall-E 3 mit sehr begrenzten Ressourcen besiegten, veranschaulicht die Intensität dieses Rennens und unterstreicht, wie gut sogar gut Die abgesehenen Organisationen riskieren, überholt zu werden, wenn sie vorsichtig vorgehen.
Verwandte: OpenAi drängt auf die AI-Strategie in den USA, um den chinesischen Einfluss entgegenzuwirken. AI Safety Index 2024, um zu zeigen Es wurden bisher noch keine einzelne Regeln angenommen. Einige Experten vergleichen die aktuelle Situation mit den frühen Tagen der Biotechnologie, als die Regierungen Richtlinien für Experimente und eventuelle Marktveröffentlichungen einstieg.
Technologieführer wie Max Tegmark argumentieren Diese konsequente, transparente Aufsicht könnte Labore ermutigen, die Sicherheit zu koordinieren Anstatt einen Durchbruch nach dem anderen zu Sprint zu sprinten, ohne dass ethische Fallstricke vollständig berücksichtigt werden. haben die Forschung zur beratenden Ausrichtung, einen Ansatz für die Einbettung von Sicherheitsreden in das Gewebe von AI-Systemen einbezogen. mit expliziten ethischen und rechtlichen Richtlinien. Befürworter der Technik hoffen, dass sie unerwünschte Verhaltensweisen reduzieren kann, wie die Erzeugung schädlicher Inhalte oder Anweisungen für illegale Aktivitäten, indem die KI in Echtzeit aktiv die Standards für Menschenanbieter verweist.
Die Kritiker fragen sich jedoch, ob ein einzelner technischer Fix mit der schneller Erweiterung der KI-Funktionen Schritt halten kann-und ob Labors genügend Berechnungsressourcen investieren, um diese Lösungen zu verfeinern, bevor Sie neue Modelle bereitstellen.
Adler selbst bleibt vorsichtig an solchen Projekten interessiert, aber er besteht darauf, dass mehrere Verteidigungslinien erforderlich sind.
In einem seiner letzten Beiträge, bevor er einen Schritt zurück trete, schrieb er: „Was als nächstes kommt, genieße ich eine Pause für ein bisschen, aber ich bin neugierig: Was siehst du als die Wichtigste und vernachlässigte Ideen in der KI-Sicherheit/-politik? Ich bin insbesondere aufgeregt: Kontrollmethoden, Schema-Erkennung und Sicherheitsfälle; Fühlen Sie sich frei zu DM, wenn dies Ihre Interessen überlappt.
unsicherer Weg voraus
Die Auflösung des SuperAmignment-Teams von OpenAI-auf die öffentliche Aufgabe, zu untersuchen Bester Weg, um Sicherheitsinitiativen zu strukturieren
In der Zwischenzeit verleihen Whistleblower-Aussagen über eingeschränkte interne Richtlinien in Kombination mit weiteren hochkarätigen Abflüssen die Frage, ob OpenAI und seine Zeitgenossen ihre Ambitionen gegen nachdenkliche Regierungsführung ausgleichen können. Der Kommentar von Adler zeigt, wie sich die Forscher an der Spitze der KI-Entwicklung mit Dilemmata, die das technologische Versprechen und die existenzielle Sorge überschreiten, zusammenarbeiten.
Während einige wie Yann Lecun von Meta behaupten, dass die fortgeschrittene KI die wichtigsten globalen Krisen lösen könnten, sind andere-unter ihnen-, die sich über eine Zukunft, in der diese Systeme die menschliche Kontrolle übersteuern, unruhig sind, wenn ihre Sicherheit nicht priorisiert wird.
Ob dies zu einem stärkeren Konsens der Branche über verantwortungsbewusste KI führt oder Regierungsstellen dazu zwingt, einzusteigen, bleibt abzuwarten, und im Moment wird das schnelle Tempo nicht mehr verstopft.