Google Research hat am 7. November 2025 ein neues maschinelles Lernparadigma namens Nested Learning eingeführt, das das katastrophale Vergessen in KI-Modellen lösen soll.
Dieses seit langem bestehende Problem führt dazu, dass Modelle altes Wissen löschen, wenn sie neue Informationen lernen. Als Proof-of-Concept stellte das Team „Hope“ vor, eine sich selbst modifizierende Architektur, die kontinuierlich lernen und sich anpassen kann.
Die neue Methode behandelt eine KI nicht als einzelnes Programm, sondern als ein System verschachtelter Lernprozesse, die sich unterschiedlich schnell aktualisieren. Dieser Ansatz ahmt die Funktionsweise des menschlichen Gedächtnisses nach und zielt darauf ab, dynamischere und effizientere KI-Systeme zu schaffen, die sich im Laufe der Zeit ohne ständige Neuschulung von Grund auf verbessern können.
Die Amnesie der KI überwinden: Die Herausforderung des katastrophalen Vergessens
Eine grundlegende Schwäche vieler Das Problem fortgeschrittener KI-Modelle liegt in ihrer Unfähigkeit, sequentiell zu lernen. Wenn ein neuronales Netzwerk auf neue Daten trainiert wird, vergisst es oft abrupt und drastisch Informationen, die es zuvor beherrschte.
Dieses Phänomen, das als katastrophales Vergessen oder katastrophale Interferenz bekannt ist, stellt ein großes Hindernis für die Entwicklung einer KI dar, die sich wirklich mit neuen Erfahrungen weiterentwickeln kann, seit es von Forschern Ende der 1980er Jahre erstmals identifiziert wurde.
Das Problem ergibt sich aus dem, was Kognitionswissenschaftler als „Stabilitäts-Plastizitäts-Dilemma.“ Ein effektives Lernsystem muss plastisch genug sein, um neues Wissen zu erwerben, aber auch stabil genug, um zu verhindern, dass dieses neue Wissen vorhandene Erinnerungen überschreibt.
Die meisten standardmäßigen neuronalen Netze, insbesondere diejenigen, die Backpropagation verwenden, sind sehr plastisch. Ihre internen Parameter oder Gewichtungen werden angepasst, um Fehler bei neuen Aufgaben zu minimieren.
Da diese Netzwerke jedoch verteilte Darstellungen verwenden, wird das Wissen über ein breites Spektrum gemeinsamer Gewichtungen gespeichert. Das Aktualisieren dieser Gewichte für eine neue Aufgabe führt unweigerlich zu einer Störung der Muster, die zum Abrufen alter Informationen erforderlich sind.
Katastrophales Vergessen geschieht, wenn Parameter, die sich nicht bewegen sollten, durch einen plötzlichen großen Gradienten durcheinandergewirbelt werden, wenn die Ratlosigkeit zunimmt. Dieser Prozess überlagert effektiv neue Daten mit alten, was zu einem drastischen und oft vollständigen Verlust des ursprünglichen Lernens führt.
Diese Einschränkung steht in starkem Gegensatz zum menschlichen Lernen, bei dem es typischerweise um allmähliches Vergessen und nicht um einen plötzlichen Verlust von Fähigkeiten oder Wissen geht.
Die Ankündigung von Google zieht eine starke Analogie zur anterograden Amnesie, einer neurologischen Erkrankung, bei der eine Person keine neuen Langzeitgedächtnisse bilden kann. Aktuelle große Sprachmodelle (LLMs) sind ähnlich begrenzt; Ihr Wissen beschränkt sich auf ihre umfangreichen Daten vor dem Training und die unmittelbaren Informationen, die in ihr Kontextfenster eingespeist werden.
Sie können neue Erfahrungen nicht in ihre Kernwissensbasis integrieren. Im Blog von Google Research heißt es: „Wenn es um kontinuierliches Lernen und Selbstverbesserung geht, ist das menschliche Gehirn der Goldstandard.“
Diese Hürde ist nicht nur eine theoretische Unannehmlichkeit; Es stellt ein erhebliches praktisches Hindernis dar, das die KI daran hindert, sich an dynamische, reale Umgebungen anzupassen, in denen ständig neue Informationen verfügbar sind.
Nested Learning: Ein neues Paradigma, das Architektur und Optimierung vereint
Um einen der hartnäckigsten Mängel der KI zu beheben, haben Google-Forscher ein Framework vorgeschlagen, das die Struktur von Lernmodellen neu definiert.
Das neue Paradigma namens Nested Learning (NL) geht über die traditionelle Sichtweise hinaus Schichten stapeln. Stattdessen wird ein Modell nicht als monolithische Einheit behandelt, sondern als eine Sammlung miteinander verbundener, mehrstufiger Optimierungsprobleme, die gleichzeitig ausgeführt werden.
Dieser Ansatz vereinheitlicht grundsätzlich die Architektur eines Modells und seinen Trainingsalgorithmus und betrachtet sie als verschiedene „Ebenen“ desselben Kernprozesses.
Jede Ebene innerhalb des Nested Learning-Frameworks verfügt über ihren eigenen „Kontextfluss“, den spezifischen Informationsstrom, aus dem sie lernt. Es aktualisiert sich in seiner eigenen Häufigkeit. Dieses Design ist von der Multi-Timescale-Verarbeitung inspiriert, die im menschlichen Gehirn beobachtet wird, wo verschiedene neuronale Schaltkreise mit unterschiedlichen Geschwindigkeiten arbeiten, ähnlich wie Gehirnwellen.
In der Forschungsarbeit heißt es: „NL zeigt, dass bestehende Deep-Learning-Methoden aus Daten lernen, indem sie ihren eigenen Kontextfluss komprimieren, und erklären, wie kontextbezogenes Lernen in großen Modellen entsteht.“
Dies ermöglicht eine detailliertere und effizientere Form des Lernens, bei der sich einige Teile des Modells schnell an neue Informationen anpassen können, während andere sich schnell an neue Informationen anpassen können Konsolidieren Sie Wissen langsamer.
Eine zentrale Erkenntnis von Nested Learning ist die Neuformulierung von Standardkomponenten des maschinellen Lernens als Formen des assoziativen Gedächtnisses. Der Artikel zeigt, dass der Backpropagation-Prozess selbst als assoziatives Gedächtnis modelliert werden kann, das lernt, einen Datenpunkt seinem „lokalen Überraschungssignal“, dem Fehler oder Gradienten, zuzuordnen.
Dieses Signal quantifiziert, wie unerwartet die Daten sind. Darüber hinaus interpretiert das Framework gängige Optimierer wie Adam oder SGD mit Momentum als „Deep Optimizer“ neu.
Dabei handelt es sich im Wesentlichen um Speichermodule, die lernen, den Verlauf vergangener Gradienten zu komprimieren, um zukünftige Aktualisierungen zu informieren, und nicht nur um statische mathematische Formeln.
Während die Implementierung neu ist, hat das Konzept des selbstreferenziellen Lernens tiefe Wurzeln in der KI-Forschung. Das Google-Team selbst zitiert grundlegende Arbeiten aus den frühen 1990er Jahren, darunter einen Aufsatz von Jürgen Schmidhuber aus dem Jahr 1992 über neuronale Netze, die theoretisch ihre eigenen Lernregeln modifizieren könnten.
Nested Learning zielt darauf ab, einen praktischen und kohärenten Rahmen zu bieten, um diese langgehegten theoretischen Ambitionen endlich zu verwirklichen und einen klaren Weg zu Modellen zu schaffen, die wirklich lernen können, wie man lernt.
Hoffnung am Horizont: Eine selbstmodifizierende KI, die lernt, wie man lernt
Inspiriert von der Art und Weise, wie das menschliche Gehirn Erinnerungen verarbeitet, dient die „Hope“-Architektur als erster Proof-of-Concept für das Nested-Learning-Paradigma.
Hope ist ein selbstmodifizierendes System, das als Variante von Googles früherer „Titans“-Architektur erstellt wurde, einem Speichermodul, das Informationen danach priorisiert, wie „überraschend“ sie sind.
Im Gegensatz zu seinem Vorgänger ist „Hope jedoch eine selbstmodifizierende wiederkehrende Architektur, die unbegrenzte Ebenen des kontextbezogenen Lernens nutzen kann…“
Dies erreicht es durch a Continuum Memory System (CMS), bei dem verschiedene Speicherkomponenten mit unterschiedlichen Frequenzen aktualisiert werden. Dadurch entsteht ein Spektrum vom sich schnell aktualisierenden Kurzzeitgedächtnis bis zum langsam aktualisierenden Langzeitspeicher von Wissen.
Dieser mehrschichtige Ansatz ermöglicht es dem Modell, im Wesentlichen zu lernen, wie man lernt, ein bedeutender Schritt über statische Modelle hinaus. Das bedeutet, dass, wenn Sie einen Teil des Stacks veranlassen können, sich selbst zu optimieren, dieser mit der Rechenleistung skaliert und damit letztendlich alles übertrifft, was Sie manuell tun könnten.
Der Begriff „selbstmodifizierend“ hat für Aufregung gesorgt, aber einige Experten warnen vor einer Überinterpretation. Anstatt seinen Quellcode buchstäblich neu zu schreiben, passt das Modell seine internen Parameter mit unterschiedlichen Geschwindigkeiten an.
Es gibt keine „innere Stimme“, die sich selbst überprüft oder seinen eigenen Quellcode buchstäblich neu schreibt. Es handelt sich im Grunde um ein System, das aus Teilen besteht, die unterschiedlich schnell lernen. Dadurch können neue Fakten integriert werden, ohne dass Kernwissen überschrieben wird.
Vielversprechende Ergebnisse und offene Fragen
Erste Benchmarks für die Hope-Architektur, wie im NeurIPS-Artikel beschrieben, sind für mehrere Modellgrößen vielversprechend. Das Forschungsteam testete 340M-, 760M-und 1,3B-Parameterversionen von Hope mit modernen Modellen wie Transformer++ und Retentive Network (RetNet) und Titans.
Bei Sprachmodellierung und Aufgaben zum logischen Denken zeigte Hope durchweg starke Leistungen. Beispielsweise erreichte das 1.3B-Parametermodell, das auf 100 Milliarden Token trainiert wurde, einen durchschnittlichen Benchmark-Score von 57,23 und übertraf damit die vergleichbaren Modelle Transformer++ (52,25) und Titans (56,82).
Es zeigte eine geringere Perplexity, ein Maß dafür, wie gut ein Modell eine Stichprobe vorhersagt. und höhere Genauigkeit in einer Reihe von Tests, darunter PIQA, HellaSwag und BoolQ.
Das Papier hebt auch die überlegenen Speicherverwaltungsfähigkeiten von Hope hervor, insbesondere bei Needle-In-Haystack-Aufgaben (NIAH) mit langem Kontext, bei denen ein Modell eine bestimmte Information in einem großen Textvolumen finden muss.
Die Autoren führen diesen Erfolg auf das Continuum Memory System zurück (CMS), das einen effizienteren und effektiveren Umgang mit erweiterten Informationssequenzen ermöglicht.
Diese Fähigkeit, Speicher dynamisch zu verwalten und Lernen basierend auf dem Kontext zu aktualisieren, unterscheidet die Architektur von statischeren Modellen wie Standard-Transformern.
Trotz dieser starken ersten Ergebnisse ist ein gewisses Maß an Skepsis berechtigt, vor allem aufgrund der begrenzten empirischen Daten, die im öffentlich zugänglichen Artikel bereitgestellt werden.
Die Autoren weisen im Artikel selbst darauf hin, dass die NeurIPS-Version wurde „umfangreich zusammengefasst, um der Seitenbeschränkung gerecht zu werden“ und verweist die Leser auf eine umfassendere Version auf arXiv, um alle Einzelheiten zu erfahren.
Der Ansatz ist spannend, aber das Googlee-Papier enthält auch recht wenige empirische Ergebnisse.
Dies verdeutlicht eine kritische Lücke zwischen dem theoretischen Versprechen und der überprüfbaren Leistung der neuen Architektur. Wir müssen auf die detaillierten Ergebnisse warten, insbesondere zu den Aufgaben mit langem Kontext, bei denen ähnliche innovative Architekturen zuvor Schwierigkeiten hatten, effektiv zu skalieren, bevor wir Nested Learning für einen echten Durchbruch erklären.
