Google Research, pe 7 noiembrie 2025, a introdus o nouă paradigmă de învățare automată numită Învățare imbricată, concepută pentru a rezolva uitarea catastrofală în modelele AI.
Această problemă de lungă durată face ca modelele să ștergă cunoștințele vechi atunci când învață informații noi. Ca o dovadă a conceptului, echipa a dezvăluit „Speranța”, o arhitectură cu auto-modificare care se poate învăța și se poate adapta continuu.
Noua metodă tratează un AI nu ca pe un singur program, ci ca pe un sistem de procese de învățare imbricate care se actualizează la ritmuri diferite. Această abordare imită modul în care funcționează memoria umană, având ca scop crearea unor sisteme AI mai dinamice și mai eficiente, care se pot îmbunătăți în timp, fără recalificare constantă de la zero.
Depășirea AI: The Challenges of Amnesiaphic>
O slăbiciune fundamentală a multor modele avansate de inteligență artificială este incapacitatea lor de a învăța secvențial. Când o rețea neuronală este antrenată pe date noi, deseori uită brusc și drastic informațiile pe care le stăpânește anterior.
Acest fenomen, cunoscut sub numele de uitare catastrofală sau interferență catastrofală, a reprezentat o barieră majoră în crearea unei IA care poate evolua cu adevărat cu noi experiențe, de când a fost identificat pentru prima dată de către cercetătorii din ultima etapă. oamenii de știință cognitiv numesc „dilema stabilitate-plasticitate”. Un sistem de învățare eficient trebuie să fie suficient de plastic pentru a dobândi cunoștințe noi, dar și suficient de stabil pentru a împiedica aceste cunoștințe noi să suprascrie amintirile existente.
Majoritatea rețelelor neuronale standard, în special cele care folosesc backpropagation, sunt extrem de plastice. Parametrii lor interni, sau ponderile, sunt ajustați pentru a minimiza erorile la noile sarcini.
Totuși, deoarece aceste rețele folosesc reprezentări distribuite, în care cunoștințele sunt stocate într-o gamă largă de ponderi partajate. Actualizarea acestor ponderi pentru o nouă sarcină perturbă în mod inevitabil tiparele necesare pentru a reaminti informațiile vechi.
Uitarea catastrofală are loc atunci când parametrii care nu ar trebui să se miște, sunt zdruncinați de un gradient mare brusc atunci când perplexitatea crește. Acest proces suprapune efectiv date noi peste cele vechi, ducând la o pierdere drastică și adesea completă a învățării inițiale.
Această limitare este în contrast puternic cu învățarea umană, care implică, de obicei, uitarea treptată, mai degrabă decât o ștergere bruscă a abilităților sau cunoștințelor.
Anunțul Google face o analogie puternică cu starea anterogradă a unei persoane nevrograde, în care o stare aterogradă nu poate forma o stare de lungă durată. Modelele lingvistice mari actuale (LLM) sunt la fel de limitate; cunoștințele lor sunt limitate la vastele lor date pre-formare și la informațiile imediate introduse în fereastra lor context.
Ei nu pot integra experiențe noi în baza lor de cunoștințe de bază. După cum afirmă blogul Google Research, „Când vine vorba de învățare continuă și auto-îmbunătățire, creierul uman este standardul de aur.”
Acest obstacol nu este doar un inconvenient teoretic; este un obstacol practic semnificativ care împiedică AI să se adapteze la medii dinamice, din lumea reală, în care informațiile noi sunt constante.
Nested Learning: A New Paradigm Unifying Architecture and Optimization
Pentru a aborda unul dintre cele mai persistente defecte ale AI, cercetătorii Google au propus un cadru care re-imaginează noua paradigmă de învățare. (NL), depășește perspectiva tradițională a stivuirii straturilor. În schimb, tratează un model nu ca pe o entitate monolitică, ci ca pe o colecție de probleme de optimizare interconectate, pe mai multe niveluri, care rulează simultan.
Această abordare unifică în mod fundamental arhitectura unui model și algoritmul său de antrenament, vizându-le ca „niveluri” diferite ale aceluiași proces de bază.
Fiecare nivel de „învățare” specific are propriul flux de informații în interiorul propriului cadru de învățare. invata de la. Se actualizează la frecvența proprie. Acest design este inspirat de procesarea pe scară multiplă observată în creierul uman, unde diferite circuite neuronale funcționează la viteze diferite, asemănătoare undelor cerebrale.
Așa cum afirmă lucrarea de cercetare, „NL dezvăluie că metodele de învățare profundă existente învață din date prin comprimarea propriului flux de context și explică modul în care învățarea în context apare într-o formă mai mare și mai eficientă.” învățarea, unde unele părți ale modelului se pot adapta rapid la informații noi, în timp ce altele consolidează cunoștințele mai lent.
O perspectivă de bază a Învățarii imbricate este reîncadrarea componentelor standard de învățare automată ca forme de memorie asociativă. Lucrarea demonstrează că procesul de retropropagare în sine poate fi modelat ca o memorie asociativă care învață să mapeze un punct de date cu „semnalul surpriză local”, care este eroarea sau gradientul.
Acest semnal cuantifică cât de neașteptate sunt datele. Mergând mai departe, cadrul reinterpretează optimizatorii obișnuiți, cum ar fi Adam sau SGD cu Momentum, ca „Deep Optimizers”.
Aceste module sunt în esență module de memorie care învață să comprime istoria gradienților din trecut pentru a informa actualizările viitoare, mai degrabă decât să fie doar formule matematice statice.
În timp ce implementarea este nouă, conceptul de cercetare profundă are rădăcini inedite în AI. Însăși echipa Google citează lucrări fundamentale de la începutul anilor 1990, inclusiv o lucrare din 1992 de Jürgen Schmidhuber despre rețelele neuronale care ar putea modifica, teoretic, propriile reguli de învățare.
Învățarea imbricată își propune să ofere un cadru practic și coerent pentru a realiza în cele din urmă aceste ambiții teoretice de lungă durată, creând o cale clară către modele care pot învăța cu adevărat cum să învețe.
Speranța pe orizont: O IA auto-modificatoare care învață cum să învețe din procesul de inspirație umană,
>
, inspirată din memoria umană. Arhitectura „Speranță” servește drept prima dovadă de concept pentru paradigma de învățare imbricată.
Speranța este un sistem cu auto-modificare construit ca o variantă a arhitecturii anterioare „Titans” de la Google, un modul de memorie care prioritizează informațiile în funcție de cât de „surprinzătoare” este.
Spre deosebire de predecesorul său, arhitectura „Hope” poate profita de automodificare, care poate profita de auto-modificare. niveluri nelimitate de învățare în context…”
Se realizează acest lucru printr-un sistem de memorie continuu (CMS), în care diferite componente de memorie se actualizează la frecvențe diferite. Acest lucru creează un spectru de la actualizarea rapidă, memoria pe termen scurt, până la actualizarea lentă, stocarea cunoștințelor pe termen lung.
Această abordare stratificată permite modelului să învețe în esență cum să învețe, un pas semnificativ dincolo de modelele statice. Înseamnă că, dacă puteți face ca orice parte a stivei să se optimizeze, se va scala cu calculul și, astfel, va depăși orice ați putea face manual în cele din urmă.
Termenul de auto-modificare a generat entuziasm, dar unii experți avertizează împotriva interpretării excesive. În loc să-și rescrie literal codul sursă, modelul își ajustează parametrii interni la viteze diferite.
Nu există nicio „voce interioară” care să se inspecteze sau să-și rescrie propriul cod sursă. Este practic un sistem format din piese care învață la viteze diferite. Acest lucru îi permite să integreze fapte noi fără a suprascrie cunoștințele de bază.
Rezultate promițătoare și întrebări persistente
Etale de referință inițiale pentru arhitectura Hope, așa cum sunt detaliate în lucrarea NeurIPS, sunt promițătoare pe mai multe dimensiuni de model. Echipa de cercetare a testat versiuni cu parametri de 340M, 760M și 1.3B ale Hope față de modele contemporane precum Transformer++, Rețea 08_blank”2307. (RetNet) și Titani.
În modelarea limbajului și sarcinile de raționament de bun simț, Hope a demonstrat constant performanțe puternice. De exemplu, modelul cu parametrii 1.3B, antrenat pe 100 de miliarde de jetoane, a atins un scor mediu de referință de 57,23, depășind modelele comparabile Transformer++ (52,25) și Titans (56,82).
A arătat o PIQA, HellaS, HellaSwaa> href=”https://arxiv.org/abs/1905.10044″target=”_blank”>BoolQ .
De asemenea, lucrarea evidențiază capacitățile superioare de gestionare a memoriei ale Hope, în special în sarcinile Needle-In-Haystack (NIAH) în context lung, în care un model trebuie să găsească o anumită informație într-un volum mare de text. Memory System (CMS), care permite o modalitate mai eficientă și mai eficientă de a gestiona secvențe extinse de informații.
Această capacitate de a gestiona dinamic memoria și de a actualiza învățarea în funcție de context este ceea ce diferențiază arhitectura de modelele mai statice, cum ar fi Transformers standard.
În ciuda acestor rezultate inițiale puternice, un grad de scepticism este justificat în hârtia empirice limitată furnizată, în primul rând, de datele empirice disponibile.
Autorii notează în lucrarea în sine că versiunea NeurIPS a fost „rezumată pe larg pentru a se potrivi cu limita de pagini” și direcționează cititorii către o versiune mai cuprinzătoare pe arXiv pentru detalii complete.
Abordarea este incitantă, dar lucrarea Googlee este, de asemenea, destul de scurtă în ceea ce privește rezultatele empirice.
Acest lucru evidențiază un decalaj critic între promisiunea teoretică și performanța verificabilă a noii arhitecturi. Va trebui să așteptăm rezultatele detaliate, în special în ceea ce privește sarcinile cu context lung în care arhitecturile inovatoare similare s-au luptat anterior să se scaleze eficient, înainte de a declara Need Learning o adevărată descoperire.
>
