Ein Samsung-KI-Forscher in Montreal hat ein winziges KI-Modell entwickelt, das weit über sein Gewicht hinausgeht und damit den Fokus der Branche auf massive Skalierbarkeit in Frage stellt. Das diese Woche veröffentlichte Tiny Recursive Model (TRM) mit 7 Millionen Parametern übertrifft riesige Modelle wie Googles Gemini 2.5 Pro bei schwierigen Denkrätseln.
Das Modell wurde von Alexia Jolicoeur-Martineau entwickelt und ausführlich beschrieben Ein auf arXiv veröffentlichter Artikel soll beweisen, dass cleveres Design wichtiger sein kann als reine Größe. Es verwendet einen einfachen „rekursiven“ Prozess, um in Schleifen zu denken und seine eigenen Antworten zu verbessern, wodurch ein effizienterer Weg für Innovationen geboten wird.
Dieser Ansatz stellt die Notwendigkeit riesiger, kostspieliger Modelle zur Lösung schwieriger KI-Probleme in Frage. Wie Jolicoeur-Martineau feststellte, „ist die Vorstellung, dass man sich auf gewaltige Basismodelle verlassen muss, die von einem großen Unternehmen für Millionen von Dollar trainiert wurden, um schwierige Aufgaben zu lösen, eine Falle.“ Die Veröffentlichung signalisiert eine wachsende Bewegung hin zu kleineren, spezialisierten Modellen.
Von komplexer Hierarchie zu rekursiver Einfachheit
TRM entwickelt sich aus dem Hierarchical Reasoning Model (HRM), vereinfacht jedoch sein Design radikal. HRM wurde Anfang dieses Jahres eingeführt und nutzte zwei separate Netzwerke, die mit unterschiedlichen Frequenzen arbeiteten, ein Konzept, das seine Entwickler mit komplexen biologischen Argumenten über das menschliche Gehirn begründeten.
Dieser Ansatz stützte sich auch auf fortgeschrittene mathematische Prinzipien wie den Satz der impliziten Funktion, um seinen Lernprozess zu verwalten, was die Analyse erschwerte. Jolicoeur-Martineaus Arbeit entfernt diese Abstraktionsebenen.
TRM verwendet nur ein einziges, winziges zweischichtiges Netzwerk. Es verzichtet auf biologische Analogien und Festkomma-Abhängigkeiten und macht die Architektur transparenter. Das Ziel bestand darin, den Kernmechanismus zu isolieren: die rekursive Verbesserung.
Die Kerninnovation ist ihr Argumentationsprozess. Das Modell beginnt mit einer groben Antwort und verfeinert diese iterativ. In jeder Schleife aktualisiert es zunächst seinen internen „Denkprozess“, bevor es seine endgültige Antwort aktualisiert, wodurch effektiv ein viel tieferes Netzwerk ohne hohe Kosten simuliert wird.
Diese sich selbst verbessernde Schleife ist eine Form der „tiefen Überwachung“, bei der das Modell bei jedem Schritt trainiert wird, um der richtigen Lösung näher zu kommen. Dies ermöglicht es ihm, komplexe, mehrstufige Argumentationsketten zu erlernen, die normalerweise ein viel größeres Modell erfordern würden.
Wie in der Forschungsarbeit erklärt wird: „Dieser rekursive Prozess ermöglicht es dem Modell, seine Antwort schrittweise zu verbessern … auf äußerst Parameter-effiziente Weise und gleichzeitig die Überanpassung zu minimieren.“ Diese Methode steigert die Leistung und vermeidet Probleme, mit denen größere Modelle bei kleinen Datensätzen konfrontiert sind.
Bei Benchmarks für logisches Denken übertreffen
Die Leistungsfähigkeit von TRM zeigt sich am deutlichsten bei Benchmarks zum Testen abstrakter KI-Schlussfolgerungen, einem Bereich, in dem selbst die größten Modelle oft Probleme haben. Seine herausragende Leistung kommt beim Abstract and Reasoning Corpus (ARC-AGI), einer herausfordernden Reihe visueller Rätsel, die für Menschen einfach, für KI jedoch bekanntermaßen schwierig sind.
Bei der ersten Version des Tests, ARC-AGI-1, erreichte TRM eine Genauigkeit von 45 %. Dieser Wert übertrifft viele der Schwergewichte der Branche, darunter Googles Gemini 2.5 Pro (37,0 %), OpenAIs o3-mini-high (34,5 %) und DeepSeek R1 (15,8 %), obwohl TRM weniger als 0,01 % ihrer Parameter aufweist.
Der Vorteil des Modells bleibt beim noch schwierigeren ARC-AGI-2-Benchmark bestehen. Hier erreichte TRM 7,8 % und übertraf damit erneut Gemini 2.5 Pro mit 4,9 % und o3-mini-high mit 3,0 %. Obwohl diese absoluten Werte niedrig erscheinen mögen, stellen sie einen bedeutenden Fortschritt gegenüber einem Benchmark dar, bei dem der Fortschritt notorisch langsam ist.
Zum Vergleich: Die aktuelle Bestenliste wird von massiven Grenzmodellen wie Grok 4 von xAI angeführt, aber die Leistung von TRM mit nur 7 Millionen Parametern macht sie zu einem dramatischer Ausreißer, der die Effizienz seiner Architektur hervorhebt.
Die Dominanz des Modells erstreckt sich auf andere logische Bereiche, in denen große Modelle oft ins Stocken geraten. Bei Sudoku-Extreme, einem Datensatz schwieriger Rätsel mit nur 1.000 Trainingsbeispielen, stellte TRM mit einer Genauigkeit von 87,4 % einen neuen Rekord auf. Dies stellt eine enorme Verbesserung gegenüber den 55 % dar, die sein Vorgänger HRM erzielt hat.
Ähnlicherweise erzielte TRM beim Maze-Hard-Benchmark, bei dem es darum geht, lange Pfade durch komplexe 30×30-Gitter zu finden, 85,3 %. Diese Ergebnisse über mehrere, unterschiedliche logische Domänen zeigen die Leistungsfähigkeit seines rekursiven Ansatzes für strukturierte Problemlösungen.
„Weniger ist mehr“: Eine neue Philosophie für effiziente KI
Vielleicht am meisten Bemerkenswert ist die Effizienz des Modells. Das gesamte Modell wurde in nur zwei Tagen auf vier NVIDIA H-100-GPUs für unter 500 US-Dollar trainiert, wie der Forscher bestätigte. Dies steht im Gegensatz zu den Trainingsläufen im Wert von mehreren Millionen Dollar, die für die heutigen Grenz-LLMs erforderlich sind.
<500 $, 4 H-100 für etwa 2 Tage
– Alexia Jolicoeur-Martineau (@jm_alexia) 7. Oktober 2025
Jolicoeur-Martineau betonte diesen Punkt und erklärte: „mit Beim rekursiven Denken stellt sich heraus, dass „weniger mehr ist“. Ein winziges Modell, das von Grund auf vorab trainiert wurde … kann viel erreichen, ohne die Bank zu sprengen.“ Diese Kosteneffizienz demokratisiert die Spitzenforschung im Bereich KI.
Die Feststellung, dass ein kleineres, zweischichtiges Netzwerk größere Versionen übertrifft, stellt auch herkömmliche Skalierungsgesetze in Frage. Das Papier legt nahe, dass dies daran liegt, dass die rekursive Tiefe dazu beiträgt, eine Überanpassung zu verhindern, ein häufiges Problem beim Training großer Modelle auf begrenzten Daten.
Der KI-Forschungsingenieur Sebastian Raschka kommentierte die Effizienz mit den Worten: „Ja, es ist immer noch möglich, coole Sachen ohne Rechenzentrum zu machen.“
Vom Hierarchical Reasoning Model (HRM) zu einem neuen Tiny Recursive Model (TRM).
Vor ein paar Monaten sorgte der HRM für großes Aufsehen in der KI-Forschungsgemeinschaft, da er trotz seiner geringen Größe von 27 Millionen eine wirklich gute Leistung bei der ARC-Herausforderung zeigte. (Das ist etwa 22x kleiner als die… pic.twitter.com/YhMpn4hlxi
– Sebastian Raschka (@rasbt) 8. Oktober 2025
Das Projekt ist auf GitHub unter einer freizügigen MIT-Lizenz, was die kommerzielle Nutzung ermöglicht und eine breitere Akzeptanz fördert.
Ein spezialisierter Löser, kein Generalist
Es ist entscheidend, TRMs zu verstehen Kontext. Das Modell ist ein hochspezialisierter Löser und kein Allzweck-Chatbot wie diejenigen, die auf Modellen von OpenAI oder Google basieren. Seine Leistung beschränkt sich auf strukturierte, gitterbasierte Aufgaben, bei denen sich die rekursive Methode auszeichnet.
Diese Spezialisierung ist eine Funktion, kein Fehler. Wie Deedy Das, Partner bei Menlo Ventures, feststellte: „Die meisten KI-Unternehmen nutzen heute Allzweck-LLMs mit Eingabeaufforderung für Aufgaben. Für spezifische Zwecke.“ Aufgaben, kleinere Modelle sind möglicherweise nicht nur billiger, sondern auch von weitaus höherer Qualität! Tage.
[Trainings-und Testdetails]… pic.twitter.com/9c31HdxiLy
-Deedy (@deedydas) 9. Oktober 2025
Dieser Fokus bedeutet, dass TRM keine Gedichte schreiben oder Besprechungen zusammenfassen wird. Sein Erfolg sorgt jedoch für einen mächtigen Proof-of-Concept für Unternehmen. Es deutet darauf hin, dass eine Flotte kleiner Expertenmodelle effektiver und effizienter sein könnte als ein einzelnes, monolithisches Generalistenmodell.
Während die KI-Community die Innovation gelobt hat, haben einige auf den engen Bereich hingewiesen. Der Konsens besteht darin, dass TRM zwar keine Form allgemeiner Intelligenz ist, seine Botschaft jedoch weit gefasst ist: Eine sorgfältige Rekursion und nicht nur eine ständige Erweiterung könnte die nächste Welle des Denkens vorantreiben Forschung.
