Fillimi i AI Perplexity lëshoi një sistem me burim të hapur më 4 nëntor që lejon modelet më të mëdha të AI në botë të funksionojnë në mënyrë efikase në infrastrukturën cloud të Amazon për herë të parë.
I detajuar në një studim të ri kërkimor, sistemi ofron një alternativë të fuqishme dhe të lëvizshme për zgjidhjet që kërkojnë pajisje të specializuara të rrjeteve NVIDIA.
Një model i ri teknik imi ofron një shteg të ri zbulues2 për zgjidhjen e tij.
AWS.
Lëvizja vjen ndërsa firma e Silicon Valley lundron në betejat e përshkallëzuara ligjore me platformat kryesore, duke përfshirë Reddit dhe vetë burimin, mbi të dhënat e saj të hapura të praktikave të diskutueshme, duke krijuar kontrastin e saj të diskutueshëm nga firma e Silicon Valley. metodat e biznesit.
Under the Hood: Një’TransferEngine’portativ për të unifikuar rrjetin e AI
Perplexity AI ka krijuar me burim të hapur një grup të ri të bërthamave të komunikimit Mixture-of-Experts (MOE) me performancë të lartë, duke e bërë kodin i disponueshëm në një depo të GitHub të quajtur’pplx-garden’.
Lëshimi shoqërohet nga një punim i detajuar kërkimor, i atribuar tani punonjësit të Hulumtuesit të Perpdorn Lillexit, punonjësi i Hulumtues i Hulumtuesit, tani i atribuohet punonjësit të”Kepdornlexit”të Lidhur me emrin, një depo GitHub. Zaytsev dhe Lequn Chen, të cilat përvijojnë arkitekturën e sistemit.
Modelet e Ministrisë së Ekonomisë kërkojnë komunikim të rrallë, dinamik, pikë-për-pikë për të drejtuar të dhënat ndërmjet bibliotekave të ndryshme, në mënyrë tradicionale, nën-modeleve të komunikimit.
Në thelbin e inovacionit është një bibliotekë portative e quajtur”TransferEngine”, e ndërtuar për të menaxhuar transferimet e të dhënave me shpejtësi të lartë dhe me vonesë të ulët duke përdorur Qasja e memories direkte në distancë (RDMA).
Në vend që të mbështeteni në pronësinë e NVIDIA-s Gpudirect-Dinct”> teknologji, e cila lejon një GPU të komunikojë drejtpërdrejt me një kartë rrjeti, por krijon kyçje harduerike, Perplexity zgjodhi një dizajn më fleksibël të host-proxy.
Në këtë model, një fill i dedikuar CPU menaxhon operacionet e rrjetit në emër të GPU-së. Ndërsa kjo paraqet një shpenzim të vogël, e bën të gjithë sistemin agnostik harduerin.
Duke hequr ndryshimet midis pajisjeve konkurruese, Perplexity’s TransferEngine u lejon zhvilluesve të shkruajnë kode portative me performancë të lartë. Vështrimi kryesor i tij ishte të ndërtonte një abstraksion që nuk varet nga shpërndarja strikte e të dhënave të garantuara nga kartat ConnectX të NVIDIA.
Përputhshmëria e tij tani shtrihet në shpërndarjen në thelb të parregulluar të Përshtatësit Elastic Fabric të AWS (EFA), duke bashkuar dy ndërfaqen e vetme mbizotëruese
e rrjetit. Kompania është e rëndësishme, pasi standardet tregojnë se kernelet e reja arrijnë performancë të nivelit të lartë.
Në një grup me 64 GPU me pajisje kompjuterike NVIDIA ConnectX-7, sistemi regjistroi një latente të kombinuar të dekodimit, 6 më parë, duke kaluar latentenë e mëparshme2 të industrisë. DeepEP.
Një lojë strategjike për pavarësinë në renë kompjuterike
Lëshimi i kësaj teknologjie adreson drejtpërdrejt një pengesë të madhe në vendosjen e modeleve masive të AI.
Për klientët e resë kompjuterike, aftësia për të ekzekutuar këto modele pa u kyçur në një shitës të vetëm hardueri përfaqëson një hap të konsiderueshëm të reduktimit të kostove
Modelet kufitare si modeli Kimi K2 me një trilion parametra i Moonshot AI janë shumë të mëdha për konkluzionet me një nyje, duke kërkuar konfigurime komplekse me shumë nyje që janë shumë të ndjeshme ndaj performancës së rrjetit.
Deri tani, arritja e performancës së nivelit të lartë të MoE kërkon kryesisht një kartë të plotë të rrjetit NVIDIA Connecting
.
Puna e Perplexity e bën EFA të pronarit të Amazon për herë të parë një alternativë të zbatueshme dhe me performancë të lartë.
Përpjekjet e mëparshme për të përdorur EFA për këtë lloj ngarkese pune me biblioteka të përgjithshme si NVSHMEM ishin shumë të ngadalta për të qenë praktike për konkluzionet e prodhimit.
Përparimi mund të riformësojë AI-në në shkallë të gjerë ekonomike. Ai u jep kompanive një mundësi të re të fuqishme për ekzekutimin e modeleve moderne me burim të hapur në AWS pa u lidhur me një ekosistem të veçantë harduerësh.
Një lëvizje e tillë e pozicionon Perplexity jo vetëm si një kompani produktesh që përballen me konsumatorin, por si një kontribues kryesor në infrastrukturën themelore të industrisë së AI, duke dobësuar potencialisht kontrollin e NVIDIA-s në tregun e harduerit
me performancë të lartë të pajisjeve.
Një identitet i dyfishtë: Pioneer me burim të hapur apo gërmues i të dhënave?
Ndërsa kompania mbron kontributet e saj me burim të hapur, ajo vazhdon të përballet me një breshëri sfidash ligjore nga pronarët e përmbajtjes.
Koha e këtij publikimi teknik është veçanërisht e dukshme, e cila u raportua nga Amazon-buzer në të njëjtën ditë që kishte lëshuar kërkesën e Win-buzer në të njëjtën ditë që ishte lëshuar nga Win-buzer. Perplexity ndalon agjentin e saj Comet AI që të bëjë blerje në faqen e saj të internetit.
Në një deklaratë, një zëdhënës i Amazon tha:”Aplikacionet agjente të palëve të treta si Perplexity’s Comet kanë të njëjtat detyrime dhe ne kemi kërkuar në mënyrë të përsëritur që Perplexity të heqë Amazon nga përvoja e Comet.”
Ky veprim ka paraqitur në tetor, sipas ligjit Reddit, sipas një ligji ndjek një ligj të tetorit. Hutimi i një skeme”në shkallë industriale”për të fshirë në mënyrë të paligjshme përmbajtjen e saj nga rezultatet e kërkimit të Google.
Shefi ligjor i Reddit, Ben Lee, deklaroi:”Perplexity është një klient i gatshëm i të paktën njërit prej këtyre gërvishtjeve, duke zgjedhur të blejë të dhëna të vjedhura në vend që të hyjë në një marrëveshje të ligjshme me”Reddit”në mënyrë të padrejtë. betejat ligjore, me Shefin e saj të Komunikimit, Jesse Dwyer, që pohon,”Qasja jonë mbetet parimore dhe e përgjegjshme pasi ne ofrojmë përgjigje faktike me AI të saktë dhe nuk do të tolerojmë kërcënime kundër hapjes dhe interesit publik.”
Një model konflikti si ky krijon një imazh publik kompleks për kompaninë. Njëkohësisht po ndërton mjete që fuqizojnë komunitetin me burim të hapur ndërkohë që akuzohen për shfrytëzim të të dhënave të uebit të hapur pa leje.
Firma duket se po ndjek një strategji të dyfishtë: duke kontribuar në gjërat e zakonshme me njërën dorë, ndërkohë që merr nga ajo me tjetrën.
Duke u përpjekur të kundërshtojë këtë tregim shumëvjeçar, Perceptimi i imazhit, strukurty-lexensp. angazhimi për atribuimin e duhur për përmbajtjen vizuale.
Një marrëveshje e tillë sugjeron një gatishmëri për t’u angazhuar në partneritete të licencuara, megjithatë ajo qëndron në kontrast të plotë me marrëdhëniet më kundërshtare të kompanisë diku tjetër.
Një identitet i dyfishtë, pjesë kampion me burim të hapur, pjesërisht luftëtar ligjor, përcakton rolin e lartë të Perplexity.
