Le 7 novembre 2025, Google Research a introduit un nouveau paradigme d’apprentissage automatique appelé Nested Learning, conçu pour résoudre les oublis catastrophiques dans les modèles d’IA.
Ce problème de longue date amène les modèles à effacer d’anciennes connaissances lors de l’apprentissage de nouvelles informations. En guise de preuve de concept, l’équipe a révélé « Hope », une architecture auto-modifiable qui peut continuellement apprendre et s’adapter.
La nouvelle méthode traite une IA non pas comme un programme unique, mais comme un système de processus d’apprentissage imbriqués qui se mettent à jour à des rythmes différents. Cette approche imite le fonctionnement de la mémoire humaine, dans le but de créer des systèmes d’IA plus dynamiques et efficaces qui peuvent s’améliorer au fil du temps sans recyclage constant à partir de zéro.
Surmonter l’amnésie de l’IA : le défi de l’oubli catastrophique
Une faiblesse fondamentale de de nombreux modèles d’IA avancés sont liés à leur incapacité à apprendre de manière séquentielle. Lorsqu’un réseau neuronal est entraîné sur de nouvelles données, il oublie souvent brusquement et radicalement les informations qu’il maîtrisait auparavant.
Ce phénomène, connu sous le nom d’oubli catastrophique ou d’interférence catastrophique, constitue un obstacle majeur à la création d’une IA capable de véritablement évoluer avec de nouvelles expériences depuis qu’il a été identifié pour la première fois par les chercheurs à la fin des années 1980.
Le problème vient de ce que les scientifiques cognitifs appellent le « dilemme stabilité-plasticité ». Un système d’apprentissage efficace doit être suffisamment plastique pour acquérir de nouvelles connaissances, mais également suffisamment stable pour empêcher ces nouvelles connaissances d’écraser les mémoires existantes.
La plupart des réseaux de neurones standards, en particulier ceux utilisant la rétropropagation, sont très plastiques. Leurs paramètres internes, ou pondérations, sont ajustés pour minimiser les erreurs sur les nouvelles tâches.
Cependant, parce que ces réseaux utilisent des représentations distribuées, où les connaissances sont stockées dans un large éventail de pondérations partagées. La mise à jour de ces poids pour une nouvelle tâche perturbe inévitablement les schémas nécessaires au rappel des anciennes informations.
Un oubli catastrophique se produit lorsque des paramètres qui ne devraient pas bouger sont bouleversés par un gradient soudain et important lorsque la perplexité augmente. Ce processus superpose efficacement de nouvelles données aux anciennes, entraînant une perte drastique et souvent complète de l’apprentissage d’origine.
Cette limitation contraste fortement avec l’apprentissage humain, qui implique généralement un oubli progressif plutôt qu’un effacement soudain des compétences ou des connaissances.
L’annonce de Google établit une analogie puissante avec l’amnésie antérograde, une maladie neurologique dans laquelle une personne ne peut pas former de nouveaux souvenirs à long terme. Les grands modèles de langage (LLM) actuels sont également limités ; leurs connaissances se limitent à leurs vastes données de pré-formation et aux informations immédiates introduites dans leur fenêtre contextuelle.
Ils ne peuvent pas intégrer de nouvelles expériences dans leur base de connaissances de base. Comme l’indique le blog Google Research : « Lorsqu’il s’agit d’apprentissage continu et d’amélioration personnelle, le cerveau humain est la référence. »
Cet obstacle n’est pas seulement un inconvénient théorique ; il s’agit d’un obstacle pratique important qui empêche l’IA de s’adapter à des environnements dynamiques et réels où les nouvelles informations sont constantes.
Apprentissage imbriqué : un nouveau paradigme unifiant l’architecture et l’optimisation
Pour remédier à l’un des défauts les plus persistants de l’IA, les chercheurs de Google ont proposé un cadre qui réinvente la structure même des modèles d’apprentissage.
Le nouveau paradigme, appelé Nested Learning (NL), va au-delà de la vision traditionnelle de l’empilement des couches. Au lieu de cela, il traite un modèle non pas comme une entité monolithique mais comme un ensemble de problèmes d’optimisation multi-niveaux interconnectés qui s’exécutent simultanément.
Cette approche unifie fondamentalement l’architecture d’un modèle et son algorithme de formation, en les considérant comme différents « niveaux » du même processus de base.
Chaque niveau au sein du cadre Nested Learning a son propre « flux de contexte », le flux spécifique d’informations à partir duquel il apprend. Il se met à jour à sa propre fréquence. Cette conception s’inspire du traitement multi-échelles de temps observé dans le cerveau humain, où différents circuits neuronaux fonctionnent à des vitesses différentes, semblables aux ondes cérébrales.
Comme l’indique le document de recherche,”NL révèle que les méthodes d’apprentissage en profondeur existantes apprennent à partir des données en compressant leur propre flux de contexte, et expliquent comment l’apprentissage en contexte émerge dans de grands modèles.”
Cela permet une forme d’apprentissage plus granulaire et plus efficace, où certaines parties du modèle peuvent s’adapter rapidement à de nouvelles informations tandis que d’autres consolider les connaissances plus lentement.
Un élément essentiel du Nested Learning est son recadrage des composants standard d’apprentissage automatique sous forme de formes de mémoire associative. L’article démontre que le processus de rétropropagation lui-même peut être modélisé comme une mémoire associative qui apprend à mapper un point de données sur son « signal de surprise local », qui est l’erreur ou le gradient.
Ce signal quantifie le caractère inattendu des données. Pour aller plus loin, le framework réinterprète les optimiseurs courants, tels qu’Adam ou SGD avec Momentum, sous le nom de « Deep Optimizers ».
Il s’agit essentiellement de modules de mémoire qui apprennent à compresser l’historique des gradients passés pour informer les mises à jour futures, plutôt que d’être simplement des formules mathématiques statiques.
Bien que la mise en œuvre soit nouvelle, le concept d’apprentissage autoréférentiel a des racines profondes dans la recherche sur l’IA. L’équipe de Google elle-même cite des travaux fondamentaux du début des années 1990, notamment un un article de 1992 de Jürgen Schmidhuber sur les réseaux neuronaux qui pourraient théoriquement modifier leurs propres règles d’apprentissage.
L’apprentissage imbriqué vise à fournir un cadre pratique et cohérent pour enfin concrétiser ces ambitions théoriques de longue date, en créant une voie claire vers des modèles capables de véritablement apprendre à apprendre.
L’espoir à l’horizon : une IA auto-modificatrice qui apprend à apprendre
S’inspirant de la façon dont le cerveau humain traite la mémoire, l’architecture « Hope » sert de première preuve de concept pour le Paradigme d’apprentissage imbriqué.
Hope est un système auto-modifiable construit comme une variante de l’architecture”Titans”précédente de Google, un module de mémoire qui priorise les informations en fonction de leur caractère”surprenant”.
Contrairement à son prédécesseur,”Hope, cependant, est une architecture récurrente auto-modifiable qui peut tirer parti de niveaux illimités d’apprentissage en contexte…”
Il y parvient grâce à un système de mémoire continue (CMS), où différents composants de mémoire se mettent à jour à des fréquences variables. Cela crée un spectre allant de la mémoire à court terme à mise à jour rapide au stockage des connaissances à long terme et à mise à jour lente.
Cette approche en couches permet au modèle d’apprendre essentiellement à apprendre, une étape significative au-delà des modèles statiques. Cela signifie que si vous parvenez à optimiser n’importe quelle partie de la pile, elle évoluera avec le calcul et finira ainsi par surpasser tout ce que vous pourriez faire manuellement.
Le terme d’auto-modification a généré de l’enthousiasme, mais certains experts mettent en garde contre une interprétation excessive. Au lieu de réécrire littéralement son code source, le modèle ajuste ses paramètres internes à différentes vitesses.
Il n’y a pas de « voix intérieure » qui s’inspecte ou réécrit littéralement son propre code source. Il s’agit essentiellement d’un système composé de pièces qui apprennent à différentes vitesses. Cela lui permet d’intégrer de nouveaux faits sans écraser les connaissances de base.
Résultats prometteurs et questions persistantes
Les tests initiaux pour l’architecture Hope, tels que détaillés dans l’article NeurIPS, sont prometteurs sur plusieurs tailles de modèles. L’équipe de recherche a testé les versions de paramètres 340M, 760M et 1,3B de Hope par rapport à des modèles contemporains tels que Transformer++, Retentive Network. (RetNet) et Titans.
Dans les tâches de modélisation du langage et de raisonnement de bon sens, Hope a constamment démontré de solides performances. Par exemple, le modèle de paramètres 1,3 B, entraîné sur 100 milliards de jetons, a obtenu un score de référence moyen de 57,23, surpassant les modèles comparables Transformer++ (52,25) et Titans (56,82).
Il a montré une perplexité inférieure, une mesure de la façon dont un modèle prédit un échantillon et une plus grande précision grâce à une suite de tests, notamment PIQA, HellaSwag et BoolQ.
L’article souligne également les capacités supérieures de gestion de la mémoire de Hope, en particulier dans les tâches Needle-In-Haystack (NIAH) à contexte long, où un modèle doit trouver une information spécifique dans un grand volume de texte.
Les auteurs attribuent ce succès au système de mémoire continue (CMS), qui permet pour un moyen plus efficace de gérer des séquences d’informations étendues.
Cette capacité à gérer dynamiquement la mémoire et à mettre à jour l’apprentissage en fonction du contexte est ce qui distingue l’architecture des modèles plus statiques comme les Transformers standard.
Malgré ces bons résultats initiaux, un certain degré de scepticisme est justifié, principalement en raison des données empiriques limitées fournies dans l’article accessible au public.
Les auteurs notent dans l’article lui-même que la version NeurIPS était « largement résumé pour s’adapter à la limite de pages”et dirige les lecteurs vers une version plus complète sur arXiv pour plus de détails.
L’approche est passionnante, mais l’article de Googlee est également assez court en résultats empiriques.
Cela met en évidence un écart critique entre la promesse théorique et les performances vérifiables de la nouvelle architecture. Nous devrons attendre les résultats détaillés, en particulier sur les tâches à long contexte où des architectures innovantes similaires ont déjà eu du mal à évoluer efficacement, avant de déclarer le Nested Learning comme une véritable avancée.
