Steven Adler, który spędził cztery lata w Openai pracując nad badaniami związanymi z bezpieczeństwem, otwarcie skrytykował prędkość, z jaką organizacje realizują sztuczne wywiad ogólny (AGI).
Po opuszczeniu firmy w połowie-Listopad, Adler przeszedł do x , aby wyrażać swoje obawy o przyszłość ludzkości, jeśli systemy AI będą nadal postępować bez odpowiednich zabezpieczeń.
W serii postów zaoferował szczere spojrzenie na to, co postrzega jako „rasę”, aby rozwinąć coraz silniejszą sztuczną inteligencję, pomimo poważnych nierozwiązanych wyzwań bezpieczeństwa.
„ Kilka osobistych wiadomości: Po czterech latach pracy nad bezpieczeństwem w @openai wyjechałem w połowie listopada , „Adler napisał.
„ To była dzika jazda z wieloma rozdziałami-niebezpieczne evals, bezpieczeństwo/kontrola agentów, AGI i tożsamość online itp.-i będę tęsknić za wieloma jego częściami. „Po tej refleksji na temat swojego pobytu w firmie przekazał obawy o to, jak szybko ewoluuje AI.
„ Szczerze mówiąc, jestem w dzisiejszych czasach tempo rozwoju sztucznej inteligencji. Kiedy myślę o tym, gdzie ja „Znieś przyszłą rodzinę lub ile zaoszczędzić na emeryturę, nie mogę się powstrzymać od zastanowienia: czy ludzkość dotrze do tego punktu?”
Powiązane: zielony Beret używał chatgpt do cyberprzepań, policja uwalnia czat-logs
odejście z Openai: Key Motivations
Decyzja Adlera o odejściu z Openai jest głęboko związana zastrzeżenia, które zaczął wyrażać w ostatnich miesiącach.
Jako osoba bezpośrednio zaangażowana w ocenę możliwości opracowywanych systemów AI, był wtajemniczony w złożoność uczynienia modeli bezpieczeństwa przed ich publicznym uwolnieniem.
Chociaż stwierdził, że praca stymuluje i wspomniał, że „przegapiłby wiele jej części”, Adler ostatecznie czuł się zmuszony mówić o pędu branży, który uważa za zbyt szybki dla wygody.
.
.
Przyznał, że sam postęp nie jest głównym problemem, ale raczej brak sprawdzonych metod zapewnienia zaawansowanego AI do celów ludzkich.
Powiązane: Openai uruchamia Chatgpt Gov dla amerykańskich agencji federalnych z bezpiecznym obsługą danych
Pytanie o wyrównanie-uwzględnianie systemów AI do przestrzegania etycznych i akceptowalnych społecznie wytycznych-postanowienie w wielu laboratoriach badawczych jest to, że wyścig o AGI może przewyższyć próby rozwiązania wyrównania, zauważając w jednym z jego postów: „IMO, rasa AGI jest bardzo ryzykownym hazardem, z ogromnym wadą Ścigamy się, tym mniej prawdopodobne, że ktoś znajdzie jeden w czas. ”
Istotność jego frazowania jest zgodna z refrenem ekspertów, którzy dzielą takie zastrzeżenia na temat uwalniania najnowocześniejszych systemów bez decydujących kontroli.
Powiązane: Openai Cuts Dev, który zbudował robotyczny karabin Sentry
Wczesne sygnały ryzyka AI
Trajektoria sztucznej inteligencji wywołała głosy ostrzegawcze od wewnątrz i na zewnątrz Openai , ponieważ niektórzy pracownicy budzą obawy dotyczące tego, jak szybko firma skaluje swoje modele.
Odejście Adlera zwiększa wagę do tych rozmów. Miał siedzibę w pierwszym rzędzie, w jaki sposób testowano nowe funkcje i możliwości, i widział z pierwszej ręki wyzwania związane z zapewnieniem systemów AI, które nie wytwarzały szkodliwych treści ani nieumyślnego ujawnienia prywatnych informacji.
Podczas pochwalił wiedzę swoich kolegów, Adler argumentował, że potrzebny jest większy nacisk na badania wyrównania w stosunku do uruchamiania nowych produktów.
Powiązane: ilya sutskever Wzywa do rewolucji po data: „Jest tylko jeden Internet”
w wyjaśnianiu podstawowej przyczyny jego niepokoju, Adler stwierdził: „Dzisiaj wydaje się, że utknęliśmy w naprawdę złej równowagi. Jeśli laboratorium naprawdę chce rozwinąć się odpowiedzialnie, inni nadal mogą przeciąć zakręty, być może katastrofalnie.
Jego zmartwienie polega na tym, że presja konkurencyjna napędzająca badania AI może przyćmić względy etyczne i polityczne, które idealnie kierują sposób budowy i wdrażania tych systemów.
Wskazując na zbiorową sytuację-gdzie żadne pojedyncze laboratorium nie chce zostać wyprzedzone-dodał ryzyko rozwoju globalnego wyścigu zbrojeń AI szybciej niż regulatorzy, a nawet sami naukowcy. H3> Naciski konkurencyjne i wezwania do regulacji
Kilku obserwatorów branży podzielają pogląd Adlera, że globalna konkurencja AI może wyprzedzić strategie mające na celu zapobieganie niezamierzonym konsekwencjom.
China’s Deepseek, który niedawno wydał swój potężny model rozumowania R1 i multimodalną serię Janusa, która pokonała O1 i Dall-E 3 Openai z bardzo ograniczonymi zasobami, przykładem intensywności tej rasy i podkreśla, jak nawet dobre Organizacje intencyjne ryzykują, że zostaną wyprzedzone, jeśli postępują ostrożnie.
Powiązane: Openai Pushes dla strategii AI skoncentrowanej na USA w celu przeciwdziałania wpływom chińskiego
Badacze związani z Instytutem Future of Life również podkreślają ten dylemat, powołując się na ich, powołując się na swoje AI Safety Index 2024 Aby pokazać, że główni programiści, w tym Openai i Google Deepmind, brakuje wyraźnych ram zarządzania zagrożeniami egzystencjalnymi, które stwarzają bardzo zdolne modele.
Propozycje regulacyjne zaczęły się pojawiać w Stanach Zjednoczonych i na granicy międzynarodowej, choć Żaden pojedynczy zestaw zasad nie został jeszcze powszechnie akceptowany. Niektórzy eksperci porównują obecną sytuację do wczesnych dni biotechnologii, kiedy rządy wkroczyły z wytycznymi dotyczącymi eksperymentów i ostatecznego wydania rynku.
liderzy technologii, tacy jak Max Tegmark argumentują że spójny, przejrzysty nadzór może zachęcić laboratoria do koordynowania bezpieczeństwa w zakresie bezpieczeństwa Zamiast sprintować w kierunku jednego przełomu po drugim bez pełnego uwzględnienia etycznych pułapek.
Uliczenie i inne działania łagodzące
W ramach Openai próby rozwiązania tych obaw obejmowały badania nad wyrównaniem rozważnym, podejściem mającym na celu osadzenie rozumowania bezpieczeństwa w samą strukturę systemów AI.
Metodologia opiera się na nadzorowanym dostrajaniu (SFT) i uczeniu się wzmocnienia (RL) w celu wyrównania odpowiedzi AI z wyraźnymi wytycznymi etycznymi i prawnymi. Zwolennicy tej techniki mają nadzieję, że może zmniejszyć niechciane zachowania, takie jak generowanie szkodliwych treści lub instrukcje dotyczące nielegalnych działań, poprzez aktywne odwoływanie się do standardów stworzonych przez człowieka w czasie rzeczywistym.
Mimo to krytycy pytają, czy jakakolwiek pojedyncza poprawka techniczna może nadążyć za tym, jak szybko rozwijają się możliwości AI-i czy laboratoria zainwestują wystarczającą ilość zasobów obliczeniowych, aby udoskonalić te rozwiązania przed wyścigami w celu wdrożenia nowych modeli.
Sam Adler pozostaje ostrożnie zainteresowany takimi projektami, ale nalega, aby wiele linii obrony jest koniecznych.
W jednym ze swoich końcowych postów, zanim cofnął się o krok, napisał: „Jeśli chodzi o to, co dalej, cieszę się przerwą, ale jestem ciekawy: co postrzegasz jako Najważniejsze i zaniedbane pomysły w zakresie bezpieczeństwa/polityki AI? Jestem podekscytowany Re: Metody kontroli, wykrywanie schematów i sprawy bezpieczeństwa; Nie krępuj się DM, jeśli pokrywa to twoje zainteresowania. “
W tym samym stanowisku zasygnalizował, że współpraca w branży może być korzystna, wskazując, że izolowane wysiłki są mniej prawdopodobne, aby wytworzyć solidne, uniwersalne środki bezpieczeństwa.
Niepewna ścieżka naprzód
Rozpuszczenie zespołu ds. Nadalania Openai-kiedyś publicznie zbadanie, jak utrzymać superinteligentną sztuczną inteligencję. Najlepszy sposób na konstrukcję inicjatyw bezpieczeństwa Tymczasem oświadczenia informatorów o ograniczonych politykach wewnętrznych, w połączeniu z dalszymi głośnymi odlotami, dodają napięcia do pytania, czy Openai i jego współczesni mogą zrównoważyć swoje ambicje przeciwko przemyślanym zarządzaniu.
w szerszym sensie , Komentarz Adlera ilustruje, w jaki sposób badacze na czele rozwoju sztucznej inteligencji zmagają się z dylematami, które prowadzą obietnicę technologiczną i egzystencjalną zmartwienie.
Podczas gdy niektórzy, jak Yann Lecun z Meta, twierdzą, że Advanced AI może rozwiązać kluczowe globalne kryzysy, inni-wśród nich-bezspornie o przyszłości, w której systemy przewyższają kontrolę ludzką, jeśli ich bezpieczeństwo nie jest priorytetowe.
Czy to prowadzi do silniejszego konsensusu branżowego w sprawie odpowiedzialnej sztucznej inteligencji, czy zmusza organy rządowe do wkroczenia, a na razie szybkie tempo trwa niezaznaczone.
