OpenAI se confruntă cu tulburări interne, deoarece echipa sa de Superalignment, responsabilă cu gestionarea și ghidarea sistemelor AI „superinteligente”, se confruntă cu limitări severe de resurse. o fracțiune din acest calcul a fost refuzat, potrivit unei persoane din interior.
Demisii cheie și declarații publice
Problemele de alocare a resurselor au dus la demisia mai multor echipe membri, inclusiv co-leader Jan Leike, un fost cercetător DeepMind Leike, care a jucat un rol important în dezvoltarea ChatGPT, GPT-4 și InstructGPT, a citat public dezacordurile cu conducerea OpenAI cu privire la prioritățile de bază ale companiei. Într-o serie de postări despre X, Leike și-a exprimat îngrijorarea cu privire la concentrarea companiei, afirmând că ar trebui să se dedice mai mult efort pregătirii pentru viitoarea IA. modele, punând accent pe securitate, monitorizare, siguranță și impactul asupra societății.
Ieri a fost ultima mea zi ca șef de aliniere, șef al superalinierii și director executiv @OpenAI.
— Jan Leike (@janleike) 17 mai 2024
Formarea și obiectivele echipei de Superalignment
Formată în iulie a anului precedent, echipa de Superalignment a fost condusă de Leike și co-fondatorul OpenAI, Ilya Sutskever. Echipa și-a propus să abordeze provocările tehnice ale controlului AI superinteligente în termen de patru ani. Acesta a inclus oameni de știință și ingineri de la divizia de aliniere a OpenAI și cercetători din alte organizații. Misiunea echipei a fost de a contribui la siguranța modelelor de inteligență artificială prin cercetare și un program de granturi care a sprijinit cercetătorii externi.
În ciuda publicării cercetărilor privind siguranța și a distribuit milioane de granturi, echipa Superalignment s-a luptat în timp ce conducerea OpenAI s-a concentrat tot mai mult pe lansări de produse. Conflictul intern a fost exacerbat de plecarea lui Sutskever, în urma unei încercări eșuate a fostului consiliu al OpenAI de a-l înlătura pe CEO-ul Sam Altman. Rolul lui Sutskever a fost esențial în legarea echipei de Superalignment cu alte divizii și în susținerea importanței sale pentru factorii de decizie cheie.
[embedded content]
Concedieri și plecări suplimentare
Tulburările din cadrul echipei de Superalignment au dus și la demiterea a doi cercetători, Leopold Aschenbrenner și Pavel Izmailov, pentru scurgeri de secrete ale companiei. Un alt membru al echipei, William Saunders, a părăsit OpenAI în februarie. În plus, doi cercetători OpenAI care lucrează la politica și guvernarea AI, Cullen O’Keefe și Daniel Kokotajlo, se pare că a părăsit compania recent. OpenAI a refuzat să comenteze plecările lui Sutskever sau ale altor membri ai echipei de Superalignment sau despre viitorul activității sale privind riscurile pe termen lung ale inteligenței artificiale.
În urma demisiilor, John Schulman, un alt co-fondator OpenAI, și-a asumat responsabilitatea pentru munca depusă anterior de echipa Superalignment. Cu toate acestea, echipa nu va mai exista ca entitate dedicată; în schimb, funcțiile sale vor fi integrate în diferite divizii din cadrul companiei. Un purtător de cuvânt al OpenAI a descris această schimbare ca pe o mișcare de „integrare mai profundă a [echipei]”, deși există îngrijorări că această integrare ar putea dilua accentul pe siguranța AI.
Siguranța AI mai largă a OpenAI. Eforturi
Dizolvarea echipei de Superalignment ridică întrebări cu privire la angajamentul OpenAI de a asigura siguranța și alinierea dezvoltărilor sale AI OpenAI menține un alt grup de cercetare numit echipa de pregătire, care se concentrează pe probleme precum confidențialitatea , manipularea emoțională și riscurile de securitate cibernetică. În timpul unei demonstrații transmise în direct, noua versiune a ChatGPT a imitat emoțiile umane și a încercat să flirteze cu utilizatorii.
Carta OpenAI îl leagă de dezvoltarea în siguranță a inteligenței generale artificiale în beneficiul umanității. Echipa de Superalignment a fost poziționată public ca principală echipă care lucrează la problema controlului AI potențial suprainteligent. Conflictele interne recente și problemele de alocare a resurselor aruncă o umbră asupra misiunii companiei de a dezvolta AI în mod responsabil.
