Steven Adler, che ha trascorso quattro anni all’Openai lavorando alla ricerca relativa alla sicurezza, ha criticato apertamente la velocità con cui le organizzazioni stanno perseguendo l’intelligenza generale artificiale (AGI).
Dopo aver lasciato la compagnia a metà Novembre, Adler ora ha portato a x per articolare le sue paure sul futuro dell’umanità se i sistemi di AI continuano ad avanzare senza adeguati salvaguardi.
In una serie di post, ha offerto uno sguardo sincero a ciò che percepisce come una”razza”per sviluppare un’intelligenza artificiale sempre più potente, nonostante le principali sfide di sicurezza non risolte.
“È stata una corsa selvaggia con molti capitoli-pericolose capacità di capacità, sicurezza/controllo degli agenti, AGI e identità online, ecc.-E mi mancheranno molte parti di esso.”Seguendo questa riflessione sul suo tempo in compagnia, ha trasmesso apprensione sulla rapidità con cui l’IA si sta evolvendo.
“Onestamente sono piuttosto terrorizzato dal ritmo dello sviluppo dell’IA in questi giorni. Quando penso a dove io”Raccolgono una famiglia futura, o quanto salvare per la pensione, non posso fare a meno di chiedermi: l’umanità arriverà addirittura a quel punto?”
correlato: verde Beret ha usato il chatgpt per esplosione cybertruck, la polizia rilascia chat-logs
La partenza da OpenAI: motivazioni chiave
La decisione di Adler di allontanarsi da Openi è profondamente legata a Le riserve che ha iniziato a esprimere nei suoi ultimi mesi lì.
Come qualcuno direttamente coinvolto nella valutazione delle capacità dei sistemi di intelligenza artificiale in fase di sviluppo, era a conoscenza delle complessità di rendere i modelli sicuri prima del loro rilascio pubblico.
Sebbene abbia trovato il lavoro stimolante e ha detto che”perdeva molte parti”, alla fine Adler si sentì costretto a parlare dello slancio del settore, che ritiene troppo rapido per il comfort.
ha riconosciuto che il progresso stesso non è il problema principale, ma piuttosto l’assenza di metodi comprovati per garantire che AI avanzato si allinei con gli obiettivi umani.
correlato: Openai lancia Chatgpt Gov per le agenzie federali statunitensi con la gestione sicura dei dati
La questione dell’allineamento-che entusiasma i sistemi di intelligenza artificiale per seguire le linee guida etiche e socialmente accettabili: rimane aperta in molti laboratori di ricerca è che la gara per raggiungere l’AGI può superare i tentativi di risolvere l’allineamento, notando in uno dei suoi post: “IMO, una gara AGI è una scomparsa molto rischiosa, con un enorme aspetto negativo Corse, meno è probabile che chiunque ne trovi uno in tempo.”
La gravità del suo fraseggio è abbinata al coro di esperti che condividono tali riserve sul rilascio di sistemi all’avanguardia senza controlli decisivi. Cuts Dev Who ha costruito un fucile Sentry robotico alimentato a chatgpt
primi segnali di rischi di intelligenza artificiale
La traiettoria di AI ha innescato voci cauti , con alcuni dipendenti che sollevano preoccupazioni su quanto rapidamente l’azienda stesse ridimensionando i suoi modelli.
La partenza di Adler aggiunge ulteriore peso a queste conversazioni. Aveva un posto in prima fila su come sono state testate nuove funzionalità e capacità e ha visto in prima persona le sfide di garantire che i sistemi di intelligenza artificiale non producano contenuti dannosi o divulgavano inavvertitamente informazioni private.
Mentre ha elogiato l’esperienza dei suoi colleghi, Adler ha sostenuto che era necessaria una maggiore enfasi sulla ricerca di allineamento rispetto al lancio di nuovi prodotti. Chiama la rivoluzione post-dati AI:”C’è solo un Internet”
nello spiegare la causa sottostante del suo disagio, Adler ha dichiarato:”Oggi, sembra che siamo bloccati in un equilibrio davvero cattivo. Anche Se un laboratorio vuole davvero sviluppare l’AGI in modo responsabile, altri possono ancora tagliare gli angoli per recuperare, forse in modo disastroso.
La sua preoccupazione è che le pressioni competitive che alimentano la ricerca sull’intelligenza artificiale potrebbero oscurare considerazioni etiche e politiche che guiderebbero idealmente il modo in cui questi sistemi sono costruiti e distribuiti.
indicando una situazione collettiva-dove nessun singolo laboratorio vuole essere superato-Adler ha messo in evidenza il rischio di una corsa globale di armamenti di intelligenza artificiale che si svolge più velocemente dei regolatori o persino dei ricercatori che gli stessi possono gestire. H3> Pressioni competitive e richieste di regolamentazione
Diversi osservatori del settore condividono l’opinione di Adler secondo cui la concorrenza globale di intelligenza artificiale potrebbe far superare le strategie con l’obiettivo di prevenire conseguenze non intenzionali.
China’s DeepSeek, che ha recentemente pubblicato il suo potente modello di ragionamento R1 e la serie di modelli multimodali di Janus che ha battuto O1 di Openai e Dall-E 3 con risorse molto limitate, esemplifica l’intensità di questa razza e sottolinea quanto bene anche bene bene Le organizzazioni intenzionali rischiano di essere superate se procedono con cautela.
correlato: Openi spinge per la strategia di intelligenza artificiale incentrata negli Stati Uniti per contrastare l’influenza cinese
I ricercatori collegati al futuro dell’Istituto di vita evidenziano anche questo dilemma, citando il loro AI Safety Index 2024 per dimostrare che i principali sviluppatori, tra cui Openai e Google DeepMind, non hanno chiari framework per la gestione delle minacce esistenziali poste da modelli altamente capaci. Nessun singolo insieme di regole è stato ancora ampiamente accettato. Alcuni esperti paragonano la situazione attuale ai primi giorni della biotecnologia, quando i governi hanno intervenuto le linee guida sulla sperimentazione e l’eventuale rilascio del mercato.
I leader tecnologici come Max Tegmark sostengono che una supervisione costante e trasparente potrebbe incoraggiare i laboratori a coordinarsi sulla sicurezza Piuttosto che correre verso una svolta dopo l’altra senza spiegare completamente le insidie etiche.
Allineamento deliberativo e altri sforzi di mitigazione
all’interno di Openi, tenta di affrontare queste preoccupazioni hanno incluso ricerche sull’allineamento deliberativo, un approccio progettato per incorporare il ragionamento della sicurezza nel tessuto stesso dei sistemi di intelligenza artificiale.
La metodologia si basa su una messa a punto supervisionata (SFT) e l’apprendimento del rinforzo (RL) per allineare le risposte AI con linee guida etiche e legali esplicite. I sostenitori della tecnica sperano che possano ridurre i comportamenti indesiderati, come la generazione di contenuti dannosi o istruzioni per attività illecite, facendo riferire attivamente agli standard artigianali in tempo reale.
Tuttavia, i critici si chiedono se una singola soluzione tecnica possa tenere il passo con la velocità con cui le capacità di intelligenza artificiale si stanno espandendo e se i laboratori investiranno abbastanza risorse computazionali per perfezionare queste soluzioni prima di correre per distribuire nuovi modelli.
Adler stesso rimane cautamente interessato a tali progetti, ma insiste sul fatto che sono necessarie diverse linee di difesa.
In uno dei suoi ultimi post prima di fare un passo indietro, ha scritto: “Per quanto riguarda il prossimo, mi sto godendo una pausa per un po’, ma sono curioso: cosa vedi come il Idee più importanti e trascurate nella sicurezza/politica dell’IA? Sono entusiasta dei metodi di controllo, dei metodi di controllo, del rilevamento e dei casi di sicurezza; Sentiti libero di DM se si sovrappone ai tuoi interessi.”
In quello stesso post, ha segnalato che la collaborazione a livello di settore potrebbe essere utile, sottolineando che hanno meno probabilità di produrre sforzi di sicurezza universali.
Percorso incerto davanti
La dissoluzione del team di superlignment di Openai-una volta incaricata pubblicamente di studiare come mantenere l’IA superintelligente sotto un controllo efficace: i motori di discussione su Il modo migliore per strutturare le iniziative di sicurezza
Nel frattempo, le dichiarazioni degli informatori sulle politiche interne limitate, combinate con ulteriori partenze di alto profilo, aggiungono tensione alla questione se Openai e i suoi contemporanei possano bilanciare le loro ambizioni contro la governance ponderata.
, Il commento di Adler illustra come i ricercatori in prima linea nell’intelligenza artificiale affrontano dilemmi che a cavallo della promessa tecnologica e della preoccupazione esistenziale.
Mentre alcuni, come Yann Lecun di Meta, sostengono che l’IA avanzata potrebbe risolvere le crisi globali chiave, altri tra loro-trame a disagio per un futuro in cui questi sistemi superano il controllo umano se la loro sicurezza non è prioritaria.
Se ciò porta a un consenso del settore più forte sull’intelligenza artificiale responsabile o costringe gli organi governativi a intervenire rimane da vedere e, per il momento, il ritmo rapido continua senza controllo.
