Naglabas ang Perplexity ng Open-Source AI System upang magpatakbo ng mga modelo ng trilyon-parameter sa AWS, na hinahamon ang pangingibabaw ni Nvidia

Ang

AI Startup Peclexity ay naglabas ng isang bukas na mapagkukunan ng sistema noong Nobyembre 4 na nagpapahintulot sa pinakamalaking mga modelo ng AI sa mundo na tumakbo nang mahusay sa imprastraktura ng ulap ng Amazon sa unang pagkakataon. Ang mga modelo tulad ng kimi k2 sa aws. Ang mga kasanayan, na lumilikha ng isang matalim na kaibahan sa pagitan ng mga open-source na kontribusyon at mga pamamaraan ng negosyo nito. href=”https://github.com/perplexityoi/pplx-sarden”target=”_ blangko”> magagamit sa isang repositoryo ng github na pinangalanang’pplx-garden’. Chen, na binabalangkas ang arkitektura ng system .

Sa core ng pagbabago ay isang portable library na tinatawag na’TransferEngine,’na binuo upang pamahalaan ang high-throughput, mababang latency na paglilipat ng data gamit ang Remote Direct Memory Access (RDMA).

Teknolohiya , na nagbibigay-daan sa isang GPU na direktang makipag-usap sa isang network card ngunit lumilikha ng lock-in ng hardware, ang pagkalito ay napili para sa isang mas nababaluktot na disenyo ng host-proxy. Habang ipinakikilala nito ang isang maliit na overhead, ginagawa nito ang buong sistema ng hardware-agnostic. Ang pangunahing pananaw nito ay upang bumuo ng isang abstraction na hindi nakasalalay sa mahigpit na in-order na paghahatid ng data na ginagarantiyahan ng NVIDIA’s ConnectX cards. Nakamit ng mga kernels ang pagganap ng state-of-the-art.

Isang madiskarteng pag-play para sa kalayaan ng ulap Ang one-trillion-parameter na Kimi K2 na modelo ay masyadong malaki para sa pag-iintindi ng solong-node, na nangangailangan ng kumplikadong mga pag-setup ng multi-node na lubos na sensitibo sa pagganap ng network. Mabubuhay, mataas na pagganap na alternatibo sa kauna-unahang pagkakataon. Nagbibigay ito sa mga kumpanya ng isang malakas na bagong pagpipilian para sa pagpapatakbo ng mga cut-edge na open-source na mga modelo sa AWS nang hindi nakatali sa isang tiyak na ecosystem ng hardware.

Isang dalawahang pagkakakilanlan: open-source payunir o data scraper? Ang pagkalito ay itigil ang ahente ng Comet AI mula sa paggawa ng mga pagbili sa website nito. Ang pagkalito ng isang”pang-industriya-scale”na pamamaraan upang labag sa batas na mai-scrape ang nilalaman nito mula sa mga resulta ng paghahanap sa Google. Pinuno ng komunikasyon, si Jesse Dwyer, na iginiit,”Ang aming diskarte ay nananatiling punong-guro at responsable habang nagbibigay kami ng mga makatotohanang sagot na may tumpak na AI, at hindi namin pinahihintulutan ang mga banta laban sa pagiging bukas at interes ng publiko.”Ito ay sabay-sabay na pagbuo ng mga tool na nagbibigay kapangyarihan sa open-source na komunidad habang inakusahan na sinasamantala ang data ng bukas na web nang walang pahintulot. Nilalaman.