AI-oppstart Perplexity lanserte et åpen kildekode-system 4. november som lar verdens største AI-modeller kjøre effektivt på Amazons skyinfrastruktur for første gang.
Detaljert i en ny forskningsartikkel, gir systemet et kraftig, bærbart alternativ til løsninger som krever spesialisert NVIDIA-nettverksmaskinvare.
En ny teknisk banebrytende bane for distribusjon av Kimi, for eksempel en ny K2-modell. på AWS.
Tiltaket kommer mens Silicon Valley-firmaet navigerer i eskalerende juridiske kamper med store plattformer, inkludert Reddit og selve Amazon, over dets kontroversielle bidrag, åpen og kontroversiell AI-agent-praksis. sine forretningsmetoder.
Under the Hood: A Portable ‘TransferEngine’ to Unify AI Networking
Perplexity AI har åpen kildekode et nytt sett med høyytelses Mixture-of-Experts (MoE) kommunikasjonskjerner, noe som gjør koden tilgjengelig i et GitHub-repository kalt ‘pplx-garden’.
Utgivelsen er ledsaget av en detaljert forskningsartikkel, nå tilskrevet Vladimir, Liplexity, Vladimir, Liplexity, ansatte og ansatte i Vladimir, Per Hundor og Liplexity. Lequn Chen, som skisserer systemets arkitektur.
MoE-modeller krever sparsom, dynamisk punkt-til-punkt-kommunikasjon for å rute data mellom forskjellige”ekspert”-undermodeller, et mønster som tradisjonelle kommunikasjonsbiblioteker håndterer
på en dårlig måte.
innovation er et bærbart bibliotek kalt’TransferEngine’, bygget for å administrere dataoverføringer med høy gjennomstrømning og lav latens ved hjelp av Remote Direct Memory Access (RDMA).
I stedet for å stole på NVIDIAs proprietære teknologi tillater GPU kommunisere direkte med et nettverkskort, men skaper maskinvarelåsing, valgte Perplexity en mer fleksibel vert-proxy-design.
I denne modellen administrerer en dedikert CPU-tråd nettverksoperasjoner på vegne av GPU. Selv om dette introduserer en liten overhead, gjør det hele systemet maskinvareagnostisk.
Ved å abstrahere bort forskjellene mellom konkurrerende maskinvare, lar Perplexitys TransferEngine utviklere skrive bærbar, høyytelseskode. Dens viktigste innsikt var å bygge en abstraksjon som ikke er avhengig av den strenge dataleveringen i rekkefølge garantert av NVIDIAs ConnectX-kort.
Dens kompatibilitet strekker seg nå til den iboende uordnede leveringen av AWSs Elastic Fabric Adapter (EFA), som forener de to dominerende nettverks-ryggradene.
benchmarks viser at de nye kjernene oppnår toppmoderne ytelse.
På en 64-GPU-klynge med NVIDIA ConnectX-7-maskinvare, registrerte systemet en kombinert dekodeforsinkelse på bare 692 mikrosekunder, og overgikk den tidligere bransjelederen for Play 3
. Cloud Independence
Utgivelse av denne teknologien løser direkte en stor flaskehals ved distribusjon av massive AI-modeller.
For nettskykunder representerer muligheten til å kjøre disse modellene uten å være låst til en enkelt maskinvareleverandør et betydelig skritt mot å redusere kostnader og øke fleksibiliteten.
Frontier-for-K2-modeller er for store modeller som Moonshot-i-modeller som Moonshott-for-2. enkelt-node-inferens, som krever komplekse multi-node-oppsett som er svært følsomme for nettverksytelse.
Til nå har oppnåelse av toppnivå MoE-ytelse i stor grad krevd en full NVIDIA-stack, sammenkobling av GPU-er med ConnectX-nettverkskortene.
Perplexitys arbeid gjør Amazons førsteklasses proprietære alternativ for EFA-perform
.
Tidligere forsøk på å bruke EFA for denne typen arbeidsmengde med generiske biblioteker som NVSHEM var for trege til å være praktiske for produksjonsslutning.
Gjennombruddet kan omforme økonomien ved storskala AI-distribusjon. Det gir bedrifter et kraftig nytt alternativ for å kjøre banebrytende åpen kildekode-modeller på AWS uten å være bundet til et spesifikt maskinvareøkosystem.
Et slikt trekk posisjonerer Perplexity ikke bare som et forbrukervendt produktselskap, men som en nøkkelbidragsyter til den grunnleggende infrastrukturen til AI-industrien, noe som potensielt svekker NVIDIAs jernholdige grep på markedet i markedet for Dual Identity: Open-Source Pioneer eller Data Scraper?
Mens selskapet forkjemper sine åpen kildekode-bidrag, fortsetter det å møte en bølge av juridiske utfordringer fra innholdseiere. Tidspunktet for denne tekniske utgivelsen er spesielt bemerkelsesverdig, og ankom samme dag som Winbuzzer rapporterte at Amazonase-brevet-og-en-en-en-agenten har utstedt en forespørsel fra Amazonase-og Perplexist. foreta kjøp på nettsiden sin. I en uttalelse sa en talsperson for Amazon:”Agentiske tredjepartsapplikasjoner som Perplexity’s Comet har de samme forpliktelsene, og vi har gjentatte ganger bedt om at Perplexity fjerner Amazon fra Comet-opplevelsen.” Denne handlingen følger etter et voldsomt søksmål anlagt av Reddit i slutten av oktober, som på en ulovlig måte anklaget”til industriell skala”innholdet fra Googles søkeresultater. Reddits juridiske sjef, Ben Lee, uttalte:”Perplexity er en villig kunde av minst én av disse skrapene, som velger å kjøpe stjålne data i stedet for å inngå en lovlig avtale med Reddit selv.” Perplexity har konsekvent benektet forseelser i sine juridiske kamper, og vurderer Dwyer-prinsippet, med sin vurdering. og ansvarlig ettersom vi gir saklige svar med nøyaktig AI, og vi vil ikke tolerere trusler mot åpenhet og allmenne interesser.” Et konfliktmønster som dette skaper et komplekst offentlig image for selskapet. Det bygger samtidig verktøy som styrker fellesskapet med åpen kildekode, samtidig som det blir anklaget for å utnytte dataene på det åpne nettet uten tillatelse. Bedriften ser ut til å følge en dobbel strategi: å bidra til fellesskapet med den ene hånden mens de tar fra det med den andre. Søker å motvirke denne fortellingen. riktig attribusjon for visuelt innhold. En slik avtale antyder en vilje til å engasjere seg i lisensierte partnerskap, men den står i sterk kontrast til selskapets mer kontradiktoriske forhold andre steder. En dobbel identitet, delvis åpen kildekode-forkjemper, delvis juridisk kombattant, definerer Perplexitys høye rolle.
