Der chinesische Technologieriese Alibaba hat ein leistungsstarkes neues System vorgestellt, das die Kosten für den Betrieb künstlicher Intelligenz um bis zu 82 Prozent senkt.
Die Technologie namens Aegaeon geht auf eine entscheidende Herausforderung für Cloud-Anbieter ein: Wie können Tausende spezialisierter KI-Modelle, die Kunden selten nutzen, effizient bereitgestellt werden?
In einer auf der Symposium on Operating Systems Principles (SOSP) in Seoul – einem der prestigeträchtigsten Veranstaltungsorte der Informatik – Alibaba erläuterte, wie die intelligente Planung von Aegaeon teure GPU-Hardware weitaus effektiver bündelt als aktuelle Methoden.
Während einer dreimonatigen Testphase ermöglichte das System Alibaba Cloud, eine riesige Sammlung von Modellen mit nur 213 statt 1.192 GPUs zu bedienen, drastische Senkung der Betriebskosten für seinen KI-Marktplatz.
Die Innovation zielt direkt auf die immense Verschwendung ab, die der heutigen KI-Infrastruktur innewohnt. Die eigenen Daten von Alibaba offenbarten ein starkes Ungleichgewicht: 17,7 % der GPU-Flotte waren damit beschäftigt, einen „Long Tail“ von Nischenmodellen zu bedienen, die nur 1,35 % der gesamten Kundenanfragen ausmachten.
Für Cloud-Plattformen, die einen wachsenden Markt mit verschiedenen Modellen hosten, stellt diese Ineffizienz einen enormen und nicht tragbaren Betriebsaufwand dar.
Aegaeons Entwicklung, Mitautor von Zhou Jingren, CTO von Alibaba Cloud, signalisiert einen strategischen Vorstoß auf hoher Ebene zur Lösung dieses Problems.
Von inaktiven GPUs zu Smart Scheduling: Der Aegaeon-Durchbruch
Im Kern ersetzt Aegaeon die grobe Skalierung auf Anforderungsebene, die von vielen Systemen verwendet wird, durch eine weitaus detailliertere „Token-Ebene“. „Auto-Scaling“-Ansatz.
Herkömmliche Systeme müssen warten, bis ein Modell die Generierung einer Antwort für einen Benutzer vollständig abgeschlossen hat. Dieser Prozess blockiert die GPU und führt zu schwerwiegenden „Head-of-Line-Blockierungen“, bei denen dringende Anfragen für andere Modelle in der Warteschlange hinter einer lang laufenden Aufgabe hängen bleiben.
Die Architektur von Aegaeon ist intelligenter. Es kann den Prozess eines Modells in der Mitte der Generierung auf Token-für-Token-Basis anhalten, um eine neu eingegangene Anfrage für ein anderes Modell auf derselben Hardware schnell zu bearbeiten.
Diese präventive Planung ermöglicht es einer einzelnen GPU, mehrere, unterschiedliche Modelle – in Tests bis zu sieben pro GPU – fließend zu bedienen, ohne dass es zu langen Verzögerungen kommt, die gegen Service-Level-Ziele verstoßen.
Gemäß Forschungsarbeit, diese feinkörnige Kontrolle ist unglaublich effektiv. Aegaeon setzt eine Reihe von Full-Stack-Optimierungen ein, darunter die Wiederverwendung von Komponenten, um die Neuinitialisierung der Engine zu beschleunigen, und eine explizite Speicherverwaltung, um Fragmentierung zu verhindern. Zusammen reduzieren sie den typischen Overhead, der mit der automatischen Skalierung verbunden ist, um bemerkenswerte 97 %.
Als Ergebnis behauptet Alibaba, dass Aegaeon zwei-bis 2,5-mal höhere Anfrageraten als alternative Lösungen aufrechterhalten kann, was die Wirtschaftlichkeit der Bereitstellung eines vielfältigen Modells grundlegend verändert Katalog.
Jenseits von Brute Force: Wie die Skalierung auf Token-Ebene das Long-Tail-Problem der KI löst
Dieser Durchbruch in der betrieblichen Effizienz unterscheidet sich von Innovationen, die die KI-Schulungskosten senken. Das Debüt von Aegaeon bringt zwar enorme Einsparungen, stellt aber keine Wiederholung des DeepSeek-Moments im Januar 2025 dar.
Bei diesem Ereignis schlug ein Papier des chinesischen Unternehmens DeepSeek radikal günstigere Trainingsmethoden vor, was einen großen Ausverkauf von Technologieaktien auslöste, der GPU-Hersteller wie Nvidia besonders hart traf.
Stattdessen geht Aegaeon die ebenso kritische, wenn auch weniger schlagzeilenträchtige Herausforderung der Inferenzkosten an – den Preis der tatsächlichen *Ausführung* von KI-Modellen in der Produktion.
Die Lösung dieses Problems ist eine strategische Notwendigkeit für Alibaba. Das Unternehmen verfolgt eine aggressive KI-Strategie und veröffentlicht einen ständigen Strom sowohl Open-Source-als auch proprietärer Modelle für Aufgaben, die von der Codierung bis zum multimodalen Denken reichen.
Genau diese Strategie schafft den „langen Schwanz“ spezialisierter Modelle, der Aegaeon so wertvoll macht. Durch den Aufbau einer effizienten Plattform für deren Betrieb kann Alibaba seinen weitläufigen KI-Marktplatz wirtschaftlich rentabel machen.
Eine neue Front im KI-Wettrüsten: Der branchenweite Drang nach Effizienz
Alibabas Fokus auf die Planung ist eine von mehreren Fronten in einem branchenweiten Kampf gegen die enormen Kosten der KI.
Mit dem Preis sowohl für Schulung als auch für Schlussfolgerungen Da KI weiterhin ein Haupthindernis für eine breite Akzeptanz darstellt, gehen die großen Akteure das Effizienzproblem aus verschiedenen Blickwinkeln an und schaffen so eine vielfältige Innovationslandschaft, in der jeder Teil des KI-Stacks optimiert wird.
Ein beliebter Ansatz ist die Neugestaltung der Modellarchitektur selbst. Die jüngsten Granite 4.0-Modelle von IBM verwenden beispielsweise ein Hybriddesign, das Transformer-Blöcke mit hocheffizienten Mamba-Schichten verbindet. Diese Methode strebt nach Effizienz, indem sie von Grund auf eine grundsätzlich schlankere Engine aufbaut, die auf die Kernrechenlast abzielt.
Für IBMs Projektleiter Raghu Ganti kommt es „alles auf die KV-Cache-Reduzierung an … mehr Durchsatz, geringere Latenz, längere Kontextlänge.“
Eine andere Strategie zielt auf die Speicheroptimierung innerhalb der vorherrschenden Transformer-Architektur ab. Die Neural Attention Memory Models (NAMMs) des in Tokio ansässigen Unternehmens Sakana AI nutzen evolutionäre Algorithmen, um den KV-Cache eines Modells, einen großen Speicherengpass, intelligent zu verwalten.
Diese Technik reduziert den Speicherbedarf für Aufgaben mit langen Kontexten drastisch.
Es entstehen auch radikalere Ansätze, die das Skalierungsparadigma vollständig in Frage stellen. Forscher stellten diesen Sommer ein gehirnähnliches Sehmodell vor, das menschliche neuronale Strukturen für eine überlegene Energieeffizienz nachahmt.
Einer seiner Co-Autoren, Zejin Lu, erklärte das Konzept: „Für Menschen haben bestimmte Objekte, wenn sie sie erkennen, eine typische Position. Sie wissen bereits, dass die Schuhe normalerweise unten auf dem Boden sind. Das Flugzeug ist oben.“
Das resultierende Modell verbraucht mehr als Zehnmal weniger Energie als eine Standard-KI, was beweist, dass elegantes Design manchmal rohe Gewalt schlagen kann.
Aegaeons dynamische Planung ist ein leistungsstarker, ergänzender Ansatz zu diesen anderen Methoden. Es beweist, dass eine ausgefeilte Systemtechnik zu ebenso erheblichen Einsparungen führen kann wie die durch Architekturüberarbeitungen und stellt sicher, dass die KI-Revolution zu einer nachhaltigen Geschäftsrealität werden kann.
