DeepSeek AI最近發布了其 fire-flyer文件系統(3fs)作為開源源 mit許可,該釋放發生在DeepSeek的一部分,DeepSeek的一部分, href=“ https://www.scmp.com/tech/big-tech/article/3253160/chinese-chinese-ai-start-deepseek-praisesek-praise–source-community-community-community-community-disclosing-technical-technical-detailic-detail—————
明確旨在利用現代SSD和RDMA網絡,旨在將存儲資源從潛在的數百個節點匯總到可通過標准文件系統接口訪問的統一池中的存儲資源。根據DeepSeek的
factiondb Foundationdb spectional fintersional fintersiated prightsirtion prediational pred 從歷史上看,儘管專門的運營商現在旨在簡化部署,但歷史上提出了一些操作複雜性,特別是關於Kubernetes集成的複雜性。中央MGMTD節點充當集群的大腦,通過心跳和管理系統配置跟踪所有元和存儲節點的健康和位置,包括數據複製佈局。
實際文件數據由存儲節點管理。這些節點利用 cleverdb 默認情況下存儲chunk metadata linux linubs。異步接口, io_urning 。為了確保跨節點的數據完整性,3FS採用
A known trade-off of chain-based protocols like CRAQ is that write latency can be bounded by the slowest node in the replication chain.
Performance Claims and Target Workloads
DeepSeek highlights several AI-centric use cases for 3FS: managing large datasets for data preparation, enabling direct random access for training dataloaders (potentially reducing the need for complex prefetching), high-throughput parallel model checkpointing, and serving inference KVCache from lower-cost, high-capacity SSDs.
DeepSeek共享的績效數字,據報導,從內部用途可以追溯到至少2019年,並在其大型“ fire-flyer” ai-flyer“ ai-hpc Infrastructure 180 internect中, gpus),聲稱在壓力測試期間達到約6.6 tib/s的匯總讀取。
該圖與其他硬件配置(例如Ceph)(例如Ceph)所引用的基準相比。此外,使用其開源`smertlpond` 分類工具,該公司報告說,該公司在一個25個node存儲群集上報告了110.5 tib,在短短30分鐘內對110.5 TIB進行排序。對於KVCache讀取,峰值客戶量吞吐量最多為40 GIB/s。 a 自定義fio Engine 提供用於基準標記的
prantigents。 3FS符合最近的活動模式,展示了DeepSeek對建築效率的關注。他們的“開源週”最終導致了八個存儲庫,其中包括4月18日的FlashMLA版本,這是一項優化的注意內核。
這是3月24日在3月24日的DeepSeek-V3-0324開放式發布版本,4月份的型號和4月的出版物詳細介紹了他們的
這種策略似乎部分受到必要性驅動;技術巨頭騰訊(Tech Giant Tencent)確認了2025年3月對DeepSeek模型的使用,並指出了適應硬件限制的中國公司之間的更廣泛趨勢。
tencent在其最近的收入中指出:“中國公司通常優先考慮效率和利用-對Gepseek的成功效率-
可用性和社區參與
3FS源代碼,以及構建說明和文檔(如 github存儲庫。構建系統需要“ libfuse”,FoundationDB和Rust Toolchain的特定版本,以及針對各種Linux發行版的其他依賴項。
釋放後,存儲庫很快就累積了8,700顆星星和860張叉子,表明了開發人員社區的強烈興趣。遇到問題的用戶將直接送達存儲庫的 esseage tracker 。