A Perplexity induló mesterséges intelligencia november 4-én kiadott egy nyílt forráskódú rendszert, amely lehetővé teszi, hogy a világ legnagyobb mesterségesintelligencia-modelljei először hatékonyan futhassanak az Amazon felhőinfrastruktúráján.
Az új kutatási cikkben részletezve a rendszer hatékony, hordozható alternatívát kínál a speciális NVIDIA hálózati hardvert igénylő megoldásokhoz.
A Kimi2-hez hasonló műszaki áttörést kínál a Kimi2 modellekhez. AWS.
A lépés akkor történt, amikor a Szilícium-völgyi cég egyre súlyosabb jogi csatákat vív a főbb platformokkal, köztük a Reddittel és magával az Amazonnal, a nyílt forráskódú ügynökök és a nyílt forráskódú ügynökök közötti ellentmondásos ellentmondások miatt. módszereket.
A motorháztető alatt: egy hordozható „TransferEngine” a mesterséges intelligencia hálózatának egységesítésére
A Perplexity AI nyílt forráskódú, nagy teljesítményű Mixture-of-Experts (MoE) kommunikációs kernelek új készletét hozta létre, így a kód elérhető a „pplx-garden” nevű GitHub-tárolóban.
A kiadáshoz egy részletes kutatási cikk is társul, amelyet most Lequntsev, Kequntsev, Kequntsev, Licker, Nancev Vladimir és Licker munkatársai vázolja a rendszer architektúráját.
A MoE-modellek ritka, dinamikus, pont-pont kommunikációt igényelnek az adatok különböző „szakértői” almodellek közötti továbbításához. Ezt a mintát a hagyományos kollektív kommunikációs könyvtárak rosszul kezelik a könyvtárban, amelyet rosszul kezelnek.
A „TransferEngine” a nagy áteresztőképességű, alacsony késleltetésű adatátvitel kezelésére készült Távoli közvetlen memóriaelérés (RDMA) használatával.
Ahelyett, hogy az NVIDIA szabadalmaztatott yncUDir technológiájával közvetlenül kommunikálhatna a GPUaect=”_blank”>GPUDir a hálózati kártya, de hardveres zárolást hoz létre, a Perplexity egy rugalmasabb gazdagép-proxy kialakítást választott.
Ebben a modellben egy dedikált CPU-szál kezeli a hálózati műveleteket a GPU nevében. Noha ez egy kis többletköltséget jelent, az egész rendszert hardver-agnosztikussá teszi.
A versengő hardverek közötti különbségek elvonatkoztatásával a Perplexity TransferEngine lehetővé teszi a fejlesztők számára, hogy hordozható, nagy teljesítményű kódokat írjanak. Legfontosabb meglátása az volt, hogy olyan absztrakciót hozzon létre, amely nem függ az NVIDIA ConnectX kártyái által garantált szigorú rendelésen belüli adatszolgáltatástól.
A kompatibilitás most az AWS Elastic Fabric Adapter (EFA) eredendően rendezetlen szállítására is kiterjed, egyesítve a két domináns hálózati gerincet az egyetlen interfészen keresztül.
Rep> A benchmarkok azt mutatják, hogy az új kernelek a legkorszerűbb teljesítményt érik el.
Egy 64 GPU-s fürtön NVIDIA ConnectX-7 hardverrel a rendszer mindössze 692 mikroszekundumos kombinált dekódolási késleltetést regisztrált, megelőzve a korábbi Stra3EPc iparágvezető teljesítményét. Játssz a felhőfüggetlenségért
A technológia kiadása közvetlenül megoldja a hatalmas AI-modellek bevezetésének egyik fő szűk keresztmetszetét.
A felhőalapú ügyfelek számára az a lehetőség, hogy ezeket a modelleket egyetlen hardvergyártóhoz való kötődés nélkül futtathatják, jelentős lépést jelent a költségek csökkentése és a rugalmasság növelése felé.
A Frontier-Kishotrill modellek, mint például a Mo-on-Kishotrill modellek. túl nagyok az egycsomópontos következtetésekhez, és bonyolult, több csomópontból álló beállításokat igényelnek, amelyek nagyon érzékenyek a hálózati teljesítményre.
Eddig a legmagasabb szintű MoE-teljesítmény eléréséhez nagyrészt teljes NVIDIA-veremre volt szükség, amely a GPU-kat a ConnectX hálózati kártyákkal párosította.
A Perplexity munkája, az Amazon első EFA-ja alkalmassá teszi az EFA-t. idő.
A korábbi kísérletek az EFA használatára az ilyen típusú munkaterhelésre általános könyvtárakkal, például az NVSHMEM-mel, túl lassúak voltak ahhoz, hogy gyakorlatiasak legyenek a termelési következtetésekhez.
Az áttörés átformálja a nagyszabású mesterségesintelligencia-telepítés gazdaságosságát. Hatékony új lehetőséget kínál a vállalatoknak a legkorszerűbb, nyílt forráskódú modellek AWS-en való futtatására anélkül, hogy egy adott hardver ökoszisztémához kötődnének.
Egy ilyen lépés a Perplexity-t nemcsak fogyasztói termékvállalatként, hanem az AI-ipar alapvető infrastruktúrájának kulcsfontosságú szereplőjeként is pozícionálja, ami potenciálisan gyengíti az NVIDIA vaskos markolatát a h-teljesítményű hardverek piacánhp> Kettős identitás: nyílt forráskódú úttörő vagy adatlehúzó?
Bár a vállalat védi nyílt forráskódú hozzájárulásait, továbbra is jogi kihívásokkal kell szembenéznie a tartalomtulajdonosok részéről.
A technikai kiadás időzítése különösen figyelemre méltó, mivel ugyanazon a napon érkezett meg, amikor a Winbuzzer bejelentette, hogy a Winbuzzer levélben leállította a Perdesista ügynököt az Amazontól, és kiadott egy nyilatkozatot. vásárol a webhelyén.
Az Amazon egyik szóvivője egy nyilatkozatában azt mondta: „A harmadik féltől származó alkalmazásoknak, például a Perplexity Cometnek ugyanazok a kötelezettségei vannak, és többször is kértük, hogy a Perplexity távolítsa el az Amazont az üstökös élményből.”
Ez a kereset a Reddit által október végén benyújtott, a Perplexity-ig terjedő nagyszabású pert követi. kikaparja a tartalmát a Google keresési eredményei közül.
A Reddit jogi vezetője, Ben Lee kijelentette: „A Perplexity készséges vásárlója legalább egy ilyen kaparónak, és inkább úgy dönt, hogy lopott adatokat vásárol, ahelyett, hogy törvényes megállapodást kötne magával a Reddittel.”
A Perplexity következetesen tagadta, hogy jogsértő magatartást tanúsított a jogi csatározásában, a jogi csatározásában, a Jessóban. továbbra is elvszerű és felelősségteljes, mivel tényszerű válaszokat adunk pontos mesterségesintelligencia segítségével, és nem tűrjük el a nyitottság és a közérdek elleni fenyegetést.”
Egy ilyen konfliktusminta összetett közképet hoz létre a vállalatról. Ezzel egyidejűleg olyan eszközöket épít, amelyek felhatalmazzák a nyílt forráskódú közösséget, miközben azzal vádolják, hogy engedély nélkül használja ki a nyílt web adatait.
Úgy tűnik, hogy a cég kettős stratégiát követ: egyik kezével hozzájárul a közös használathoz, míg a másikkal elveszi onnan.
Ezt a narratívát próbálja ellensúlyozni, a G. Perplexity a közelmúltban licenszbe bocsátotta a megfelelő évet. attribúció a vizuális tartalomhoz.
Egy ilyen ügylet engedéllyel rendelkező partnerségekre való hajlandóságot sugallja, mégis éles ellentétben áll a vállalat máshol fennálló, inkább ellentétes kapcsolataival.
A kettős identitás, részben nyílt forráskódú bajnok, részben jogi harcos, meghatározza a Perplexity nagy téttel rendelkező szerepét.
