Detaliat într-o nouă lucrare de cercetare, sistemul oferă o alternativă puternică și portabilă la soluțiile care necesită hardware de rețea NVIDIA specializat.
O descoperire tehnică, cum ar fi Kimi, oferă o nouă cale pentru implementarea modelelor K2. AWS.
Mișcarea vine în timp ce firma din Silicon Valley navighează în bătălii juridice crescânde cu platforme majore, inclusiv Reddit și Amazon însuși, cu privire la strângerea de date controversată și la contrastul dintre practicile sale de afaceri deschise și contribuția AI între practicile sale de afaceri deschise și AI. metode.
Under the Hood: Un „TransferEngine” portabil pentru unificarea rețelelor AI
Perplexity AI a creat un nou set de nuclee de comunicare de înaltă performanță Mixture-of-Experts (MoE), făcând codul disponibil într-un depozit GitHub numit „pplx-garden”.
Versiunea este însoțită de o lucrare de cercetare detaliată, acum atribuită angajaților lui Nandor Leplexity, Kevin Huv și Vladimir Perplexity Chen, care conturează arhitectura sistemului.
Modelele MoE necesită o comunicare rară, dinamică, punct la punct pentru a direcționa datele între diferite sub-modele „expert”, un model pe care bibliotecile tradiționale de comunicare colectivă îl gestionează prost
inovația
a bibliotecii portabile. „TransferEngine”, creat pentru a gestiona transferurile de date cu randament ridicat și cu latență redusă folosind Acces direct la memorie la distanță (RDMA).
În loc să te bazezi pe GPU, care permite GPU să comunice direct cu GPU o placă de rețea, dar creează blocare hardware, Perplexity a optat pentru un design gazdă-proxy mai flexibil.
În acest model, un fir CPU dedicat gestionează operațiunile de rețea în numele GPU-ului. În timp ce acest lucru introduce o mică suprasarcină, face ca întregul sistem să fie independent de hardware.
Prin abstragerea diferențelor dintre hardware-ul concurent, TransferEngine de la Perplexity permite dezvoltatorilor să scrie cod portabil, de înaltă performanță. Perspectiva sa cheie a fost să construiască o abstractizare care să nu depindă de livrarea strictă a datelor în ordine garantată de cardurile ConnectX de la NVIDIA.
Compatibilitatea sa se extinde acum la livrarea inerent neordonată a adaptorului Elastic Fabric Adapter (EFA) de la AWS, unificând cele două vertebrate dominante de rețea într-o singură interfață. kernel-urile ating performanțe de ultimă generație.
Pe un cluster cu 64 de GPU cu hardware NVIDIA ConnectX-7, sistemul a înregistrat o latență combinată de decodare de doar 692 de microsecunde, depășind-o pe liderul anterior al industriei, Deep Strategic Play. Independență
Lansarea acestei tehnologii abordează în mod direct un blocaj major în implementarea modelelor masive de IA. Pentru clienții din cloud, capacitatea de a rula aceste modele fără a fi blocați într-un singur furnizor de hardware reprezintă un pas semnificativ către reducerea costurilor și creșterea flexibilității. Modelele de frontieră precum Moonstrillion AI K-no-parametru unic sunt prea mari pentru modelele Kim AI K2. deducție, necesitând configurații complexe cu mai multe noduri, care sunt foarte sensibile la performanța rețelei. Până acum, atingerea performanței MoE de top a necesitat în mare măsură o stivă NVIDIA completă, împerecherea GPU-urilor cu plăcile sale de rețea ConnectX. Munca lui Perplexity face din EFA proprietară Amazon o alternativă viabilă, de înaltă performanță, pentru prima încercare de utilizare a EFA. pentru acest tip de încărcătură de lucru cu biblioteci generice precum NVSHMEM au fost prea lente pentru a fi practice pentru deducerea producției. Descoperirea ar putea remodela economia implementării AI la scară largă. Oferă companiilor o nouă opțiune puternică pentru a rula modele open-source de ultimă oră pe AWS, fără a fi legate de un ecosistem hardware specific. O astfel de mișcare poziționează Perplexity nu doar ca o companie de produse orientată spre consumator, ci ca un contributor cheie la infrastructura de bază a industriei AI, slăbind potențial strângerea de fier a NVIDIA asupra pieței de înaltă performanță. Identitate: Open-Source Pioneer sau Data Scraper?
În timp ce compania își susține contribuțiile open-source, ea continuă să se confrunte cu o serie de provocări legale din partea proprietarilor de conținut. Momentul acestei lansări tehnice este deosebit de remarcabil, sosind în aceeași zi, Winbuzzer a raportat că Amazon a emis o scrisoare de la agentul său de încetare a achizițiilor, solicitând agentului său de încetare a achizițiilor și de a-și opri Perplex. site-ul web. Într-o declarație, un purtător de cuvânt al Amazon a spus: „Aplicațiile terțe agentice, precum Perplexity’s Comet, au aceleași obligații și am solicitat în mod repetat ca Perplexity să elimine Amazon din experiența Comet.” Această acțiune urmează unui proces înfiorător intentat de Reddit la sfârșitul lunii octombrie, care a acuzat o schemă de „conținutul lui Perplexity neindustrial” de la nivel neindustrial. Rezultatele căutării Google. Șeful juridic al Reddit, Ben Lee, a declarat: „Perplexity este un client dornic al cel puțin unuia dintre aceste scrapers, alegând să cumpere date furate, mai degrabă decât să încheie un acord legal cu Reddit în sine.” Perplexity a negat în mod consecvent faptele greșite în bătăliile sale juridice, cu principiul său „șef de comunicare, Jesse și șeful de comunicare, abordarea lui Jesse. responsabil, deoarece oferim răspunsuri concrete cu inteligență artificială precisă și nu vom tolera amenințările la adresa deschiderii și a interesului public.” Un tipar de conflict ca acesta creează o imagine publică complexă pentru companie. În același timp, construiește instrumente care împuternicesc comunitatea open-source, în timp ce este acuzată că exploatează datele web-ului deschis fără permisiune. Firma pare să urmărească o strategie dublă: să contribuie la bunurile comune cu o mână, în timp ce preia din el cu cealaltă. Căutând să contracareze această narațiune, Perplexity a lovit recent o licențiere a imaginilor, demializarea corespunzătoare pentru atribuirea de licențe multiple. conținut vizual. O astfel de înțelegere sugerează dorința de a se angaja în parteneriate licențiate, dar este în contrast puternic cu relațiile mai adverse ale companiei în altă parte. O identitate dublă, parțial campion open-source, parțial combatant legal, definește rolul de mare miză al Perplexity.
