NVIDIA heeft op CES 2025 verschillende verbeteringen op het gebied van AI aangekondigd, waarbij nieuwe ontwikkelingen zijn onthuld die de eerdere successen van het bedrijf op het gebied van het genereren van synthetische gegevens combineren met de focus op autonome besluitvorming.
De nieuwe releases omvatten de Cosmos World Foundation Model (WFM)-platform: een uitgebreide toolkit voor het maken van fotorealistische, op fysica gebaseerde video’s en scenario’s-en de Llama Nemotron plus Cosmos Nemotron-families, die taal, visie en besluitvormings-AI in diverse sectoren, zoals robotica, gezondheidszorg en autonome voertuigen.
Gerelateerd: Nvidia onthult RTX 50-serie Blackwell GPU’s met DLSS 4 en tweemaal de kracht van de RTX 4090
“We hebben Cosmos gemaakt om fysieke AI te democratiseren en algemene robotica binnen het bereik van elke ontwikkelaar te brengen”, aldus Jensen Huang, oprichter en CEO van NVIDIA. “AI-agents zijn de volgende robotindustrie en bieden waarschijnlijk een kans van meerdere miljarden dollars.”
Door het genereren van synthetische data, visieverwerking en geavanceerde taalmodellen onder één paraplu te combineren, streeft NVIDIA ernaar de transitie van datacreatie tot volledig operationele AI-systemen. Deze aanpak volgt op het succes van de Nemotron-4 340B-serie, die eerder tekorten aan hoogwaardige trainingsgegevens voor grote taalmodellen (LLM’s) aanpakte.
[embedded content]
Nemotron-4 340B: een datagestuurde basis vestigen
Medio 2024 introduceerde NVIDIA de Nemotron-4 340B-modellen om de beperkte beschikbaarheid van gegevens voor complexe AI-toepassingen aan te pakken modellen produceerden synthetische gegevens op schaal, waardoor verfijning en aanpassing op hoog niveau mogelijk waren voor sectoren als de gezondheidszorg, financiën en productie.
Nemotron-4 340B bood drie varianten: Base, Instruct en Reward De Instruct-modellen hielpen ontwikkelaars AI-uitvoer te begeleiden via duidelijke richtlijnen, terwijl de Reward-modellen de gegenereerde reacties scoorden op basis van parameters zoals nauwkeurigheid en coherentie. Dit iteratieve feedbackmechanisme bleek waardevol voor het trainen van grote taalmodellen, het versnellen van de ontwikkeling en het verbeteren van de betrouwbaarheid van modellen.
Het Nemotron-4 340B-initiatief integreerde ook naadloos met NVIDIA’s NeMo-platform en TensorRT-LLM-bibliotheek, waardoor gebruikers optimalisatie kregen en flexibiliteit in hun AI-workflows. De synthetische gegevens gegenereerd door de Nemotron-4 340B hebben de basis gelegd voor NVIDIA’s nieuwste doorbraken op het gebied van agentische en fysieke AI, waarbij gegevensbeheer, modeltraining en implementatiebehoeften worden overbrugd.
Llama Nemotron en Cosmos Nemotron: uitbreiden Agentic AI
NVIDIA’s nieuwste aanbiedingen in de Nemotron-familie – Llama Nemotron en Cosmos Nemotron – gaan verder dan alleen alleen gegevensgeneratie om real-time AI-agenten aan te drijven. Llama Nemotron grote taalmodellen (LLM’s) zijn geschikt voor taken zoals coderen, functieaanroepen, chatten en wiskundige berekeningen, terwijl Cosmos Nemotron vision-taalmodellen (VLM’s) zich richten op het interpreteren van en reageren op visuele gegevens in video’s, afbeeldingen en sensorfeeds.
“Agentic AI is de volgende grens van AI ontwikkeling, en het benutten van deze kans vereist full-stack optimalisatie binnen een systeem van LLM’s om efficiënte, nauwkeurige AI-agenten te leveren”, zegt Ahmad Al-Dahle, vice-president en hoofd van GenAI bij Meta, in een verklaring. “Door onze samenwerking met Nvidia en onze gedeelde inzet voor open modellen, de Nvidia Llama Nemotron-familie, gebouwd op Llama, kunnen bedrijven helpen snel hun eigen aangepaste AI-agenten te creëren.”
Nvidia Agentic AI-architectuur (Afbeelding: Nvidia)
Deze tweeledige aanpak omvat gespecialiseerde NVIDIA NIM microservices die zware taken uitvoeren, zoals het zoeken naar video’s, samenvattingen en sensorinterpretatie. Door taal en visuele verwerking te integreren, kunnen AI-agenten een reeks toepassingen beheren, van magazijnlogistiek tot analyse van medische beeldvorming.
Cosmos World Foundation-modellen
Daarnaast de Llama Nemotron-en Cosmos Nemotron-families lanceerde NVIDIA de Cosmos World Foundation Model (WFM) platform. Dit nieuwe platform is gespecialiseerd in het genereren van fotorealistische, op fysica gebaseerde video’s en omgevingen voor robotica, autonome voertuigen en algemene’fysieke AI’-scenario’s. De focus op realistische simulaties verlaagt de kosten die gepaard gaan met het verzamelen en testen van enorme hoeveelheden gegevens uit de echte wereld.
“Het ChatGPT-moment voor robotica komt eraan. Net als grote taalmodellen zijn wereldbasismodellen van fundamenteel belang voor de vooruitgang van robot-en AV-ontwikkeling, maar toch beschikken niet alle ontwikkelaars over de expertise en middelen om hun eigen modellen te trainen”, merkte Huang op. zijn openingstoespraak op CES.
Ontwikkelaars kunnen Cosmos WFM’s gebruiken om op maat gemaakte scenario’s te creëren, waarbij complexiteit wordt toegevoegd zoals besneeuwde wegen voor AV-systemen of drukke magazijnvloeren voor het testen van robotica. Deze fysicabewuste datasets kunnen bestaande modellen verfijnen of dienen als een op zichzelf staand trainingshulpmiddel. Het bedrijf heeft deze modellen beschikbaar gemaakt onder een open modellicentie, met als doel de toegang tot geavanceerde AI-ontwikkeling te verbreden.
Fysieke AI versnellen via data-en rekenefficiëntie
Fysieke AI blijft computationeel veeleisend en vereist high-fidelity data om de echte wereld te simuleren. Cosmos pakt deze uitdagingen aan door een versnelde videoverwerkingspijplijn en geavanceerde videotokenizers aan te bieden (beschikbaar onder NVIDIA’s open modellicentie, via Hugging Face a> en GitHub), en de NVIDIA NeMo Curator voor het labelen en beheren van gegevens.
Deze pijplijn is bedoeld om enorme hoeveelheden videogegevens te verwerken (tot 20 miljoen uur in 14 dagen met behulp van het NVIDIA Blackwell-platform) in plaats van jarenlange CPU-gebonden bewerkingen.
Deze efficiëntiewinsten helpen organisaties hun AI-modellen te ontwikkelen, testen en verfijnen zonder beperkt te worden door databeperkingen uit de echte wereld. Cosmos Tokenizer comprimeert afbeeldingen en video’s, waardoor de overhead wordt verminderd en de essentiële kwaliteit voor het trainen van geavanceerde AI-systemen behouden blijft. Volgens NVIDIA maken deze optimalisaties de weg vrij voor snellere iteratie in robotica en onderzoek naar autonome voertuigen.
Industriële adoptie
Grote spelers in robotica en autotechnologie hebben toonde sterke interesse in Cosmos. Bedrijven zoals 1X, Agile Robots, Agility, Figure AI, Foretellix, Uber, Waabi en XPENG behoren tot degenen die het nieuwe platform in hun ontwikkelingspijplijnen integreren.
XPENG is bijvoorbeeld van plan zijn humanoïde robotica te verbeteren initiatieven, terwijl ridesharing-gigant Uber samenwerkt met NVIDIA om Cosmos te benutten voor betere datacuratie en het genereren van scenario’s. “Generatieve AI zal de toekomst van mobiliteit aandrijven, waarbij zowel rijke data als zeer krachtige rekenkracht nodig zijn”, zegt Dara Khosrowshahi, CEO van Uber. “Door samen te werken met NVIDIA hebben we er vertrouwen in dat we de tijdlijn voor veilig en schaalbaar autonoom rijden kunnen helpen verbeteren oplossingen voor de industrie.”
Bedrijven als SAP en ServiceNow hebben op vergelijkbare wijze de Nemotron-families van NVIDIA omarmd. “AI-agenten die samenwerken om complexe taken binnen meerdere bedrijfsonderdelen op te lossen, zullen een geheel nieuw niveau van bedrijfsproductiviteit ontsluiten dat verder gaat dan de huidige generatieve AI-scenario’s”, zegt Philipp Herzig, Chief AI Officer bij SAP, in een verklaring. honderden miljoenen zakelijke gebruikers zullen met deze agenten communiceren om hun doelen sneller dan ooit tevoren te bereiken.”
NeMo-integratie, open licenties en veiligheidsmaatregelen
Alles Cosmos WFM’s en Nemotron-modellen werken samen met NVIDIA’s NeMo-framework, waardoor fijnafstemming mogelijk is, uitlijning en retrieval-augmented generatie (RAG). Via NeMo Curator kunnen ontwikkelaars grootschalige videogegevens verwerken, terwijl versterkend leren van menselijke feedback (RLHF) de modellen verfijnt om passende, contextgestuurde reacties te behouden.
NVIDIA heeft Cosmos uitgebracht onder een open modellicentie, wat samenwerking en maatwerk binnen de robotica-en AV-gemeenschap stimuleert. Het bedrijf merkte ook maatregelen op voor veilige en verantwoorde AI, waaronder het watermerken van door AI gegenereerde inhoud, het implementeren van vangrails om schadelijke tekst of afbeeldingen te beperken en het afstemmen op wereldwijde AI-veiligheidsinitiatieven.
“We zijn ervan overtuigd dat we kunnen helpen Geef de tijdlijn een impuls voor veilige en schaalbare oplossingen voor autonoom rijden voor de sector”, aldus Khosrowshahi, waarmee hij de groeiende nadruk op betrouwbare, transparante AI-systemen onderstreept.
Naar een verenigd AI-ecosysteem h3>
Door de synthetische datagestuurde aanpak van Nemotron-4 340B te combineren met het nieuwe Cosmos WFM-platform, zet NVIDIA een uniform pad uit voor AI dat onderzoek, bedrijfsimplementatie en fysieke automatisering omvat rollen in agentische AI, terwijl Cosmos WFM’s de complexiteit van robotica en de ontwikkeling van autonome voertuigen aanpakken.
Van het mogelijk maken van kosteneffectieve gegevensgeneratie tot het aanbieden van gespecialiseerde microservices voor real-time taal-en visietaken, het nieuwste portfolio van NVIDIA is een voorbeeld van een veelzijdige strategie voor AI-vooruitgang. Naarmate meer ondernemingen, ontwikkelaars en onderzoekers deze modellen adopteren, lijkt het traject voor autonome systemen en intelligente softwareagenten klaar om te versnellen.
