NVIDIA har annonsert flere fremskritt innen kunstig intelligens på CES 2025, og avslører nye utviklinger som slår sammen selskapets tidligere suksesser innen syntetisk datagenerering med fokus på autonom beslutningstaking.
De nye utgivelsene inkluderer Cosmos World Foundation Model (WFM)-plattform – et omfattende verktøysett for å lage fotorealistiske, fysikkbaserte videoer og scenarier – og Lama Nemotron pluss Cosmos Nemotron familier, som muliggjør språk, visjon og beslutningstaking AI i ulike sektorer som robotikk, helsevesen og autonome kjøretøy.
Relatert: Nvidia avslører RTX 50-Serie Blackwell GPUer med DLSS 4 og dobbelt så mye kraft som RTX 4090
“Vi skapte Cosmos for å demokratisere fysisk AI og sette generell robotikk innen rekkevidde for alle utviklere,”sa Jensen Huang, NVIDIAs grunnlegger og administrerende direktør. «AI-agenter er den neste robotindustrien og vil sannsynligvis være en mulighet for flere milliarder dollar.»
Ved å kombinere syntetisk datagenerering, visjonsbehandling og avanserte språkmodeller under én paraply, ønsker NVIDIA å strømlinjeforme overgangen fra dataoppretting til fullt operative AI-systemer Denne tilnærmingen følger suksessen til Nemotron-4 340B-serien, som tidligere adresserte mangel på opplæringsdata av høy kvalitet for store språk. modeller (LLM).
[innebygd innhold]
Nemotron-4 340B: Etablering av et datadrevet grunnlag
I midten av 2024 introduserte NVIDIA Nemotron-4 340B-modeller for å takle begrenset datatilgjengelighet for komplekse AI-applikasjoner tilpasning for bransjer som helsevesen, finans og produksjon.
Nemotron-4 340B tilbød tre varianter – Base, Instruct og Reward de genererte svarene basert på parametere som nøyaktighet og sammenheng. Denne iterative tilbakemeldingsmekanismen viste seg å være verdifull for å trene store språkmodeller, fremskynde utviklingen og forbedre modellens pålitelighet.
Nemotron-4 340B-initiativet integrerte også sømløst med NVIDIAs NeMo-plattform og TensorRT-LLM-biblioteket, og gir brukerne optimalisering og fleksibilitet i deres AI-arbeidsflyt. De syntetiske dataene generert av Nemotron-4 340B la grunnlaget for NVIDIAs siste gjennombrudd innen agentisk og fysisk AI, og bygger bro over datakurering, modelltrening og utrullingsbehov.
Llama Nemotron og Cosmos Nemotron: Expanding Agentisk AI
NVIDIAs nyeste tilbud i Nemotron familie – Llama Nemotron og Cosmos Nemotron – beveger seg utover bare datagenerering for å drive sanntids AI-agenter. Llama Nemotron store språkmodeller (LLMs) imøtekommer oppgaver som koding, funksjonsanrop, chat og matematiske beregninger, mens Cosmos Nemotron vision language models (VLMs) fokuserer på å tolke og svare på visuelle data i videoer, bilder og sensorfeeder.
“Agentisk AI er den neste frontlinjen for AI-utvikling, og å levere på denne muligheten krever fullstack-optimalisering på tvers av et system av LLM-er for å levere effektive, nøyaktige AI-agenter,”sa Ahmad Al-Dahle, visepresident og leder for GenAI hos Meta, i en uttalelse”Gjennom vårt samarbeid med Nvidia og vår felles forpliktelse til åpne modeller, kan Nvidia Llama Nemotron-familien bygd på Llama hjelpe bedrifter med å lage raskt. sine egne tilpassede AI-agenter.”
Nvidia Agentic AI-arkitektur (Bilde: Nvidia)
Dette todelt tilnærming inkluderer spesialiserte NVIDIA NIM-mikrotjenester som håndterer ressurstunge oppgaver som videosøk, oppsummering og sensor tolkning. Ved å integrere språk og visuell prosessering kan AI-agenter administrere en rekke applikasjoner, fra lagerlogistikk til medisinsk bildeanalyse.
Cosmos World Foundation-modeller
Sammen med familiene Llama Nemotron og Cosmos Nemotron, lanserte NVIDIA Cosmos World Foundation Model (WFM)-plattform a>. Denne nye plattformen spesialiserer seg på å generere fotorealistiske, fysikkbaserte videoer og miljøer for robotikk, autonome kjøretøy og generelle”fysiske AI”-scenarier. Fokuset på realistiske simuleringer reduserer kostnadene forbundet med innsamling og testing av enorme mengder virkelige data.
“ChatGPT-øyeblikket for robotikk kommer I likhet med store språkmodeller, er verdensbasismodeller grunnleggende for å fremme robot-og AV-utvikling, men ikke alle Utviklere har ekspertisen og ressursene til å trene sine egne,”sa Huang i sin åpningstale på CES.
Utviklere kan bruke Cosmos WFM-er for å lage skreddersydde scenarier, og legge til kompleksiteter som snødekte veier for AV-systemer eller overbelastet lager. gulv for robottesting. Disse fysikkbevisste datasettene kan enten avgrense eksisterende modeller eller tjene som en frittstående treningsressurs. Selskapet har gjort disse modellene tilgjengelige under en åpen modelllisens, med sikte på å utvide tilgangen til avansert AI-utvikling.
Accelerating Physical AI Through Data and Compute Efficiency
Fysisk AI forblir beregningskrevende, og krever høykvalitetsdata for å simulere den virkelige verden. Cosmos takler disse utfordringene ved å tilby en akselerert videobehandlingspipeline, avanserte videotokenizers (tilgjengelig under NVIDIAs åpne modelllisens, via Hugging Face a> og GitHub), og NVIDIA NeMo-kuratoren for datamerking og-kurering.
Denne pipelinen tar sikte på å behandle enorme mengder videodata – opptil 20 millioner timer på 14 dager ved å bruke NVIDIA Blackwell-plattformen – i stedet for år med CPU-bundet drift.
Disse effektivitetsgevinstene hjelper organisasjoner som ønsker å utvikle, teste og avgrense AI-modellene sine uten å være begrenset av databegrensninger i den virkelige verden. Cosmos Tokenizer komprimerer bilder og videoer, reduserer overhead samtidig som den bevarer viktig kvalitet for trening av avanserte AI-systemer. Ifølge NVIDIA baner disse optimaliseringene vei for raskere iterasjon innen robotikk og autonome kjøretøyforskning.
Industriadopsjon
Største aktører innen robotikk og bilteknologi har vist sterk interesse for Cosmos. Selskaper som 1X, Agile Robots, Agility, Figure AI, Foretellix, Uber, Waabi og XPENG er blant dem som integrerer den nye plattformen i utviklingsrørledningene sine.
For eksempel planlegger XPENG å forbedre sin humanoide robotikk. initiativer, mens samkjøringsgiganten Uber samarbeider med NVIDIA for å utnytte Cosmos for bedre datakurering og scenariogenerering.”Generativ AI vil drive fremtidens mobilitet, og krever både rike data og svært kraftig databehandling,”sa Dara Khosrowshahi, administrerende direktør i Uber.”Ved å jobbe med NVIDIA er vi sikre på at vi kan hjelpe til med å overlade tidslinjen for sikker og skalerbar autonom kjøring løsninger for industrien.”
Bedrifter som SAP og ServiceNow har på samme måte omfavnet NVIDIAs Nemotron-familier.”AI-agenter som samarbeider for å løse komplekse oppgaver på tvers av flere linjer i virksomheten vil låse opp et helt nytt nivå av bedriftsproduktivitet utover dagens generative AI-scenarier,”sa Philipp Herzig, sjef for AI i SAP, i en uttalelse.”Gjennom SAPs Joule, hundrevis av millioner bedriftsbrukere vil samhandle med disse agentene for å oppnå målene deres raskere enn noen gang før.”
NeMo Integrasjon, åpen lisensiering og sikkerhetstiltak
Alle Cosmos WFM-er og Nemotron-modeller bruker grensesnitt med NVIDIAs NeMo-rammeverk, som muliggjør finjustering, justering og gjenfinningsforsterket generering (RAG). Gjennom NeMo Curator kan utviklere behandle videodata i stor skala, mens forsterkende læring fra menneskelig tilbakemelding (RLHF) avgrenser modellene for å opprettholde passende, kontekstdrevne svar.
NVIDIA har gitt ut Cosmos under en åpen modelllisens, som oppmuntrer til samarbeid og tilpasning innen robotikk-og AV-fellesskapet. Selskapet merket seg også tiltak for sikker og ansvarlig AI, inkludert vannmerking av AI-generert innhold, implementering av autovern for å redusere skadelig tekst eller bilder, og samkjøre med globale AI-sikkerhetsinitiativer.
“Vi er sikre på at vi kan hjelpe superlad tidslinjen for trygge og skalerbare løsninger for autonom kjøring for bransjen,”la Khosrowshahi til, og understreket en økende vekt på pålitelig, gjennomsiktig AI-systemer.
Mot et enhetlig AI-økosystem
Ved å slå sammen den syntetiske datadrevne tilnærmingen til Nemotron-4 340B med den nye Cosmos WFM-plattformen, NVIDIA angir en enhetlig bane for AI som spenner over forskning, bedriftsimplementering og fysisk automatisering Llama Nemotron og Cosmos Nemotron-familier fyller nøkkelroller i agent AI, mens Cosmos WFM-er tar for seg kompleksiteten til robotikk og autonom kjøretøyutvikling.
Fra å muliggjøre kostnadseffektiv datagenerering til å tilby spesialiserte mikrotjenester for sanntids språk-og synsoppgaver, eksemplifiserer NVIDIAs siste portefølje en allsidig strategi for AI-fremgang. Etter hvert som flere bedrifter, utviklere og forskere tar i bruk disse modellene, ser banen for autonome systemer og intelligente programvareagenter ut til å akselerere.
