Startup AI, Perplexity, merilis sistem sumber terbuka pada tanggal 4 November yang memungkinkan model AI terbesar di dunia berjalan secara efisien di infrastruktur cloud Amazon untuk pertama kalinya.
Dirinci dalam makalah penelitian baru, sistem ini memberikan alternatif yang kuat dan portabel untuk solusi yang memerlukan perangkat keras jaringan NVIDIA khusus.
Sebuah terobosan teknis, sistem ini menawarkan jalur baru untuk menerapkan model besar seperti Kimi K2 di AWS.
Langkah ini dilakukan ketika perusahaan Silicon Valley tersebut menghadapi peningkatan perselisihan hukum dengan platform-platform besar, termasuk Reddit dan Amazon sendiri, terkait praktik pengumpulan datanya yang kontroversial, sehingga menciptakan kontras yang tajam antara kontribusi sumber terbuka dan metode bisnisnya.
Di Balik Terpal: ‘TransferEngine’ Portabel untuk Menyatukan AI Jaringan
Perplexity AI telah menjadikan serangkaian kernel komunikasi Mixture-of-Experts (MoE) berperforma tinggi menjadi open source, sehingga kode tersedia di repositori GitHub bernama’pplx-garden’.
The rilis ini disertai dengan makalah penelitian terperinci, yang sekarang dikaitkan dengan karyawan Perplexity Nandor Licker, Kevin Hu, Vladimir Zaytsev, dan Lequn Chen, yang menjelaskan arsitektur sistem.
Model Kementerian Lingkungan Hidup memerlukan komunikasi titik-ke-titik yang jarang dan dinamis untuk merutekan data antara “ahli” yang berbeda sub-model, sebuah pola yang sulit ditangani oleh perpustakaan komunikasi kolektif tradisional.
Inti dari inovasi ini adalah perpustakaan portabel yang disebut ‘TransferEngine,’ yang dibuat untuk mengelola transfer data dengan throughput tinggi dan latensi rendah menggunakan Remote Direct Memory Access (RDMA).
Daripada mengandalkan teknologi GPUDirect Async milik NVIDIA, yang memungkinkan GPU berkomunikasi langsung dengan kartu jaringan namun menyebabkan penguncian perangkat keras, Perplexity memilih desain proxy host yang lebih fleksibel.
Dalam model ini, thread CPU khusus mengelola operasi jaringan atas nama GPU. Meskipun hal ini menimbulkan overhead yang kecil, hal ini membuat seluruh sistem bersifat agnostik perangkat keras.
Dengan mengabstraksikan perbedaan antara perangkat keras pesaing, TransferEngine dari Perplexity memungkinkan pengembang untuk menulis kode portabel dan berperforma tinggi. Wawasan utamanya adalah membangun abstraksi yang tidak bergantung pada pengiriman data berurutan ketat yang dijamin oleh kartu ConnectX NVIDIA.
Kompatibilitasnya kini meluas hingga pengiriman Elastic Fabric Adapter (EFA) AWS yang secara inheren tidak berurutan, yang menyatukan dua tulang punggung jaringan dominan dalam satu antarmuka.
Hasil dari perusahaan ini signifikan, karena tolok ukur menunjukkan bahwa kernel baru mencapai kinerja yang canggih.
Dalam sebuah Dengan cluster 64-GPU dengan perangkat keras NVIDIA ConnectX-7, sistem ini mencatat latensi decode gabungan hanya 692 mikrodetik, mengungguli pemimpin industri sebelumnya, DeepEP.
Permainan Strategis untuk Kemandirian Cloud
Meluncurkan teknologi ini secara langsung mengatasi hambatan besar dalam penerapan AI besar-besaran model.
Bagi pelanggan cloud, kemampuan untuk menjalankan model ini tanpa terikat pada satu vendor perangkat keras merupakan langkah signifikan dalam mengurangi biaya dan meningkatkan fleksibilitas.
Model frontier seperti model Kimi K2 dengan parameter satu triliun milik Moonshot AI terlalu besar untuk inferensi node tunggal, sehingga memerlukan penyiapan multi-node yang rumit dan sangat sensitif terhadap performa jaringan.
Sampai saat ini, untuk mencapai performa MoE tingkat atas sebagian besar memerlukan tumpukan NVIDIA penuh, memasangkan GPU dengan kartu jaringan ConnectX-nya.
Pekerjaan Perplexity menjadikan EFA milik Amazon sebagai alternatif berkinerja tinggi yang layak untuk pertama kalinya.
Upaya sebelumnya untuk menggunakan EFA untuk jenis beban kerja ini dengan perpustakaan umum seperti NVSHEMM terlalu lambat untuk dapat dipraktikkan dalam inferensi produksi.
Terobosan ini dapat membentuk kembali keekonomian penerapan AI skala besar. Hal ini memberi perusahaan opsi baru yang kuat untuk menjalankan model sumber terbuka mutakhir di AWS tanpa terikat pada ekosistem perangkat keras tertentu.
Langkah seperti ini menempatkan Perplexity tidak hanya sebagai perusahaan produk yang melayani konsumen, namun juga sebagai kontributor utama infrastruktur dasar industri AI, yang berpotensi melemahkan cengkeraman kuat NVIDIA di pasar perangkat keras AI berkinerja tinggi.
Identitas Ganda: Pelopor Sumber Terbuka atau Pengikis Data?
Meskipun perusahaan memperjuangkan kontribusi sumber terbukanya, perusahaan ini terus menghadapi rentetan tantangan hukum dari pemilik konten.
Waktu rilis teknis ini sangat penting, karena dirilis pada hari yang sama ketika Winbuzzer melaporkan bahwa Amazon telah mengeluarkan surat penghentian yang menuntut Perplexity menghentikan agen Comet AI-nya melakukan pembelian di situs webnya.
Dalam sebuah pernyataan, juru bicara Amazon mengatakan, “Aplikasi pihak ketiga agen seperti Perplexity Comet memiliki kewajiban yang sama, dan kami telah berulang kali meminta agar Perplexity menghapus Amazon dari pengalaman Comet.”
Tindakan ini menyusul tuntutan hukum yang diajukan oleh Reddit pada akhir bulan Oktober, yang menuduh Perplexity melakukan skema”skala industri”untuk secara tidak sah menghapus kontennya dari hasil penelusuran Google.
Kepala hukum Reddit, Ben Lee, menyatakan, “Perplexity adalah pelanggan yang bersedia setidaknya salah satu dari scraper ini, memilih untuk membeli data yang dicuri daripada masuk melakukan perjanjian yang sah dengan Reddit sendiri.”
Perplexity secara konsisten membantah melakukan kesalahan dalam pertarungan hukumnya, dan Kepala Komunikasinya, Jesse Dwyer, menyatakan, “Pendekatan kami tetap berprinsip dan bertanggung jawab karena kami memberikan jawaban faktual dengan AI yang akurat, dan kami tidak akan mentolerir ancaman terhadap keterbukaan dan kepentingan publik.”
Pola konflik seperti ini menciptakan citra publik yang kompleks bagi perusahaan. Perusahaan ini sekaligus membangun alat yang memberdayakan komunitas sumber terbuka, sekaligus dituduh mengeksploitasi data web terbuka tanpa izin.
Perusahaan ini tampaknya menjalankan strategi ganda: berkontribusi pada kepentingan bersama dengan satu tangan dan mengambil keuntungan darinya dengan tangan yang lain.
Dalam upaya untuk melawan narasi ini, Perplexity baru-baru ini menandatangani perjanjian lisensi multi-tahun dengan Getty Images, berkomitmen pada atribusi yang tepat untuk konten visual.
Kesepakatan semacam itu menunjukkan kesediaan untuk terlibat dalam konten visual yang berlisensi.
kemitraan, namun hal ini sangat kontras dengan hubungan perusahaan yang lebih bermusuhan di tempat lain.
Identitas ganda, yang sebagian merupakan pendukung sumber terbuka dan sebagian lagi merupakan pejuang hukum, mendefinisikan peran Perplexity yang berisiko tinggi.
