AI 初創公司 Perplexity 於 11 月 4 日發布了一個開源系統，首次允許世界上最大的 AI 模型在 Amazon 的雲基礎設施上高效運行。
一篇新的研究論文詳細介紹了該系統，該系統為需要專用 NVIDIA 網絡硬件的解決方案提供了強大的便攜式替代方案。
這是一項技術突破，為在 AWS 上部署 Kimi K2 等大規模模型提供了新途徑。
此舉之際，這家矽谷公司正在與主要平台（包括 Reddit 和亞馬遜本身）就其有爭議的數據收集和人工智能代理做法展開不斷升級的法律鬥爭，從而在其開源貢獻和商業方法之間形成鮮明對比。
幕後:便攜式設備“TransferEngine”統一 AI 網絡
Perplexity AI 開源了一套新的高性能專家混合 (MoE) 通信內核，使代碼可在名為“pplx-garden”的 GitHub 存儲庫中使用。
該版本附帶詳細的研究論文，現已歸屬於 Perplexity 員工 Nandor Licker、Kevin Hu、Vladimir Zaytsev 和 Lequn Chen，其中概述了系統的架構。
MoE 模型需要稀疏、動態、點對點通信來在不同的“專家”子模型之間路由數據，這是一種模式傳統集體通信庫處理能力較差。
創新的核心是一個名為“TransferEngine”的便攜式庫，旨在使用遠程直接內存訪問 (RDMA) 管理高吞吐量、低延遲的數據傳輸。
不要依賴 NVIDIA 專有的 GPUDirect 異步技術，該技術允許 GPU 直接與網卡通信，但會產生硬件鎖定、困惑選擇了更靈活的主機代理設計。
在此模型中，專用 CPU 線程代表 GPU 管理網絡操作。雖然這會帶來很小的開銷，但它使整個系統與硬件無關。
通過抽像出競爭硬件之間的差異，Perplexity 的 TransferEngine 允許開發人員編寫可移植的高性能代碼。其主要見解是構建一個不依賴於 NVIDIA ConnectX 卡所保證的嚴格有序數據交付的抽象。
其兼容性現在擴展到 AWS 彈性結構適配器 (EFA) 固有的無序交付，將兩個主要網絡主幹統一在一個接口下。
該公司的結果非常重要，因為基準測試顯示新內核實現了最先進的性能。
採用 NVIDIA ConnectX-7 硬件的 64-GPU 集群，系統的綜合解碼延遲僅為 692 微秒，優於之前的行業領導者 DeepEP。
雲獨立的戰略遊戲
發布這項技術直接解決了部署大規模 AI 模型的主要瓶頸。
對於雲對於客戶來說，能夠在不受單一硬件供應商限制的情況下運行這些模型，代表著朝著降低成本和提高靈活性邁出的重要一步。
Moonshot AI 的一萬億參數 Kimi K2 模型等前沿模型對於單節點推理來說太大，需要對網絡性能高度敏感的複雜多節點設置。
到目前為止，實現頂級 MoE 性能在很大程度上需要完整的 NVIDIA 堆棧，將 GPU 與其 ConnectX 網絡配對
Perplexity 的工作使 Amazon 專有的 EFA 首次成為可行的高性能替代方案。
之前嘗試將 EFA 與 NVSHMEM 等通用庫一起用於此類工作負載，但速度太慢，無法用於生產推理。
這一突破可能會重塑大規模 AI 部署的經濟性。它為公司提供了一個強大的新選擇，讓他們可以在 AWS 上運行尖端開源模型，而無需綁定到特定的硬件生態系統。
此舉不僅使 Perplexity 成為一家面向消費者的產品公司，而且成為 AI 行業基礎設施的關鍵貢獻者，有可能削弱 NVIDIA 對高性能 AI 硬件市場的鐵腕統治。
雙重身份:開源先鋒還是數據抓取者?
雖然該公司擁護其開源貢獻，但它仍然面臨著來自內容所有者的一系列法律挑戰。
此技術發布的時機尤其值得注意，Winbuzzer 報導稱，亞馬遜已發出一封停止函，要求 Perplexity 停止其 Comet AI 代理在其網站上進行購買。
亞馬遜發言人在一份聲明中表示，“Perplexity 的 Comet 等代理第三方應用程序已經”而不是與 Reddit 本身達成合法協議。 “
Perplexity 一直否認在法律訴訟中存在不當行為，其傳播主管傑西·德懷爾 (Jesse Dwyer) 聲稱，“我們的做法保持原則性和負責任，因為我們通過準確的人工智能提供事實答案，我們不會容忍對開放性和公共利益的威脅。 “
像這樣的衝突模式為該公司創造了複雜的公眾形象。它一邊在開發為開源社區提供支持的工具，一邊又被指控未經許可利用開放網絡的數據。
該公司似乎在追求一種雙重戰略:一方面為公共資源做出貢獻，另一方面則從公共資源中獲取利益。
為了反駁這種說法，Perplexity 最近與 Getty Images 達成了一項多年期許可協議，承諾對視覺內容進行正確歸屬。
這樣的協議表明願意參與許可的內容合作夥伴關係，但這與該公司在其他地方更具敵對關係形成鮮明對比。
雙重身份，部分開源冠軍，部分法律戰士，定義了 Perplexity 的高風險角色。
