Percuma melepaskan sistem AI sumber terbuka untuk menjalankan model trilion-parameter pada AWS, mencabar dominasi Nvidia

Permulaan Permulaan AI mengeluarkan sistem sumber terbuka pada 4 November yang membolehkan model AI terbesar di dunia berjalan dengan cekap pada infrastruktur awan Amazon untuk pertama kali. Kimi k2 on aws.

mewujudkan perbezaan yang tajam antara sumbangan sumber terbuka dan kaedah perniagaannya. href=”https://github.com/perplexitei-/pplx-garden”target=”_ blank”> tersedia dalam repositori github bernama’pplx-garden’. Lequn Chen, yang menggariskan arsitektur sistem . buruk. ) Target=”_ blank”> gpudirect async teknologi , yang membolehkan GPU untuk berkomunikasi secara langsung dengan kad rangkaian tetapi mencipta kunci perkakasan, kebingungan memilih reka bentuk host-proxy yang lebih fleksibel. Walaupun ini memperkenalkan overhead kecil, ia menjadikan keseluruhan sistem perkakasan-agnostik.

Dengan menghilangkan perbezaan antara perkakasan yang bersaing, Transferengine Perplexity membolehkan pemaju untuk menulis kod mudah alih, berprestasi tinggi. Wawasan utamanya adalah untuk membina abstraksi yang tidak bergantung kepada penyampaian data dalam pesanan yang ketat yang dijamin oleh kad ConnectX NVIDIA. Prestasi yang terkini.

Permainan strategik untuk kemerdekaan awan

Melepaskan teknologi ini secara langsung menangani hambatan utama dalam menggunakan model AI yang besar. Model satu-trilion-parameter Kimi K2 terlalu besar untuk kesimpulan nod tunggal, yang memerlukan persediaan multi-nod kompleks yang sangat sensitif terhadap prestasi rangkaian. Alternatif berprestasi tinggi untuk kali pertama.

Percubaan sebelumnya untuk menggunakan EFA untuk jenis beban kerja ini dengan perpustakaan generik seperti NVSHMEM terlalu lambat untuk menjadi praktikal untuk kesimpulan pengeluaran. Ia memberi syarikat pilihan baru yang kuat untuk menjalankan model sumber terbuka yang canggih di AWS tanpa terikat dengan ekosistem perkakasan tertentu.

Identiti ganda: perintis sumber terbuka atau pengikis data? Ejen Comet AI daripada membuat pembelian di laman webnya. Skim”Skala Perindustrian”untuk menyalahi undang-undang yang menyalahi undang-undang kandungannya dari hasil carian Google. Jesse Dwyer, menegaskan,”Pendekatan kami tetap berprinsip dan bertanggungjawab kerana kami memberikan jawapan faktual dengan AI yang tepat, dan kami tidak akan bertolak ansur dengan ancaman terhadap keterbukaan dan kepentingan awam.”Ia secara serentak membina alat-alat yang memberi kuasa kepada komuniti sumber terbuka semasa dituduh mengeksploitasi data web terbuka tanpa kebenaran. Kandungan.