AI-käynnistysyritys Perplexity julkaisi avoimen lähdekoodin järjestelmän 4. marraskuuta, jonka avulla maailman suurimmat tekoälymallit voivat toimia tehokkaasti Amazonin pilviinfrastruktuurissa ensimmäistä kertaa.
Uudessa tutkimusartikkelissa kuvattu järjestelmä tarjoaa tehokkaan, kannettavan vaihtoehdon ratkaisuille, jotka vaativat erikoistuneita NVIDIA-verkkolaitteita.
Kimi2-mallien kaltainen tekninen läpimurto tarjoaa uudenlaisen läpimurron. AWS.
Siirto tapahtuu, kun Piilaakson yritys käy kiihtyvissä oikeudellisissa taisteluissa suurten alustojen, kuten Redditin ja Amazonin, kanssa kiistanalaisen vastakohtana sen avoimen lähdekoodin agenttien ja avoimen lähdekoodin agenttien ja tekoälyn välillä. menetelmiä.
Kotelon alla: Kannettava”TransferEngine”tekoälyverkoston yhdistämiseen
Perplexity AI on avoimen lähdekoodin muodostanut uuden sarjan korkean suorituskyvyn Mixture-of-Experts (MoE)-viestintäytimiä, mikä tekee koodista saatavilla pplx-garden-nimisessä GitHub-tietovarastossa.
Julkaisuun liittyy yksityiskohtainen tutkimuspaperi, joka on nyt lueteltu Zaqundorin, Vladimirin, Perplexityn työntekijöiden Chevin, Kequn, Lickerin ja Nanin hahmottelee järjestelmän arkkitehtuurin.
MoE-mallit vaativat harvaa, dynaamista, point-to-point-tiedonsiirtoa tiedon reitittämiseksi eri”asiantuntija”-alamallien välillä. Malli, jota perinteiset kollektiiviset viestintäkirjastot käsittelevät huonosti kutsutun kirjaston ytimen.”TransferEngine”, joka on suunniteltu hallitsemaan suuren suorituskyvyn ja matalan viiveen tiedonsiirtoa Remote Direct Memory Access (RDMA)-palvelun avulla.
Sen sijaan, että luottaisit NVIDIA:n omaan GPUDir aync-teknologian kanssa suoraan. verkkokortti, mutta luo laitteiston lukituksen, Perplexity valitsi joustavamman isäntä-välityspalvelimen suunnittelun.
Tässä mallissa omistettu CPU-säie hallitsee verkkotoimintoja GPU:n puolesta. Vaikka tämä aiheuttaa pienen lisäkulun, se tekee koko järjestelmästä laitteistoagnostisen.
Perplexityn TransferEngine poistaa kilpailevien laitteistojen väliset erot ja antaa kehittäjille mahdollisuuden kirjoittaa kannettavaa, tehokasta koodia. Sen keskeinen oivallus oli rakentaa abstraktio, joka ei riipu NVIDIAn ConnectX-korttien takaamasta tiukasta tilaustietojen toimituksesta.
Sen yhteensopivuus ulottuu nyt AWS:n EFA:n (Elastic Fabric Adapter) luonnostaan järjestämättömään toimitukseen, joka yhdistää kaksi hallitsevaa verkkorunkoa yhdestä käyttöliittymästä.
Resp> Vertailuarvot osoittavat, että uudet ytimet saavuttavat huippuluokan suorituskyvyn.
64-GPU-klusterissa, jossa oli NVIDIA ConnectX-7-laitteisto, järjestelmä tallensi vain 692 mikrosekunnin dekoodausviiveen , mikä on parempi kuin edellinen 3EPc. Play for Cloud Independence
Tämän tekniikan julkaiseminen ratkaisee suoraan suuren pullonkaulan massiivisten tekoälymallien käyttöönotossa.
Pilviasiakkaille mahdollisuus käyttää näitä malleja ilman, että he ovat sitoutuneet yhteen laitteistotoimittajaan, on merkittävä askel kohti kustannusten alentamista ja joustavuuden lisäämistä.
Frontier one-parashotrilli mallit, kuten K-on-parashotrill 2 mallit ovat liian suuria yhden solmun päättelyyn, mikä vaatii monimutkaisia usean solmun asetuksia, jotka ovat erittäin herkkiä verkon suorituskyvylle.
Tähän asti huipputason MoE-suorituskyvyn saavuttaminen on suurelta osin edellyttänyt täydellistä NVIDIA-pinoa, joka yhdistää GPU:t ConnectX-verkkokorttien kanssa.
Perplexityn työ tekee Amazonin korkean suorituskyvyn EFA:sta sopivan. aika.
Aiemmat yritykset käyttää EFA:ta tämäntyyppiseen työkuormaan yleisten kirjastojen, kuten NVSHMEM:n, kanssa olivat liian hitaita ollakseen käytännöllisiä tuotantopäätelmien tekemiseen.
Läpimurto saattaa muuttaa laajamittaisen tekoälyn käyttöönoton taloudellisuutta. Se tarjoaa yrityksille tehokkaan uuden vaihtoehdon huippuluokan avoimen lähdekoodin mallien käyttämiseen AWS:ssä ilman, että se on sidottu tiettyyn laitteistoekosysteemiin.
Tällainen siirto ei aseta Perplexityä vain kuluttajille suunnattuna tuoteyrityksenä, vaan tärkeänä tekijänä tekoälyteollisuuden perusinfrastruktuurissa, mikä saattaa heikentää NVIDIAn rautaista otetta korkean suorituskyvyn AI:n markkinoillahA> Kaksoisidentiteetti: avoimen lähdekoodin Pioneer vai Data Scraper?
Vaikka yritys puolustaa avoimen lähdekoodin osuuttaan, se kohtaa jatkuvasti sisällön omistajien oikeudellisia haasteita.
Tämän teknisen julkaisun ajoitus on erityisen merkittävä, sillä se saapui samana päivänä, kun Winbuzzer ilmoitti, että Amazonin Complex-agentti lopetti complexetase-agenttinsa ja oli julkaissut tehdä ostoksia verkkosivustollaan.
Amazonin tiedottaja sanoi lausunnossaan:”Kolmannen osapuolen agenttisovelluksilla, kuten Perplexity’s Cometilla, on samat velvollisuudet, ja olemme toistuvasti pyytäneet, että Perplexity poistaisi Amazonin Comet-kokemuksesta.”
Tämä toimi seuraa räjähdysmäistä oikeusjuttua, jonka Reddit nosti Perplexityn lokakuun lopulla, joka on”mittakaavallisesti”kaavi sen sisältö Googlen hakutuloksista.
Redditin lakimies Ben Lee totesi:”Perplexity on halukas asiakas ainakin yhdelle näistä kaavintajista, ja hän päättää ostaa varastettuja tietoja sen sijaan, että hän tekisi laillisen sopimuksen Redditin kanssa.”
Perplexity on johdonmukaisesti kiistänyt väärinkäytökset”Oikeudellisen taistelunsa päällikkönä, Jeursina toimien pysyy periaatteellisena ja vastuullisena, kun annamme asiallisia vastauksia tarkalla tekoälyllä, emmekä suvaitse avoimuutta ja yleistä etua vastaan kohdistuvia uhkia.”
Tällainen konfliktimalli luo yritykselle monimutkaisen julkisen kuvan. Se rakentaa samanaikaisesti työkaluja, jotka vahvistavat avoimen lähdekoodin yhteisöä samalla, kun sitä syytetään avoimen verkon tietojen luvattomasta hyödyntämisestä.
Yritys näyttää noudattavan kaksitahoista strategiaa: edistää yhteistä yhdellä kädellä ja ottaa siitä pois toisella.
Yrittää vastustaa tätä kertomusta. visuaalisen sisällön attribuutio.
Tällainen sopimus viittaa halukkuuteen ryhtyä lisensoituihin kumppanuuksiin, mutta se on kuitenkin jyrkässä ristiriidassa yrityksen vastakkaisempien suhteiden kanssa muualla.
Kaksoisidentiteetti, osittain avoimen lähdekoodin mestari, osittain laillinen taistelija, määrittelee Perplexityn suuren roolin.
