Deepseek AI veröffentlichte kürzlich seine Fire-Flyer-Dateisystem (3FS) als Open Source, wobei eine verteilte Speicherlösung, die speziell für die Highroughput-Low-Low-Low-Low-Low-Low-Low-Low-Low-Low-Low-Late-Nachfrage nach künstlerischen Intelligenz entwickelt wurde, und inferenziell und inferenziell konstruiert wurden. Unter einem MIT-Lizenz ereignete sich die Veröffentlichung als Teil von Deepseeks Ende Februar/Anfang März 2025 Initiative”>”apsclosing technical-details-about-its”_ Blank”>”OPDELLE SPREIDE WOCHE” Initiative.
ausdrücklich entwickelt, um moderne SSDs und RDMA-Netzwerke zu nutzen, zielt 3Fs darauf ab, Speicherressourcen von potenziell Hunderten von Knoten in einen einheitlichen Pool zu aggregieren, der über eine Standard-Dateisystemschnittstelle zugänglich ist. Laut Deepseeks cluster-patuster-linux, appluster, appluster, cluster-passy-pass-open-source verteilt. FoundationDB hat in der Vergangenheit einige operative Komplexitäten vorgestellt, insbesondere in Bezug auf die Kubernetes-Integration, obwohl engagierte Betreiber nun darauf abzielen, die Bereitstellung zu erleichtern. Ein zentraler Mgmtd-Knoten dient als Gehirn des Clusters und verfolgt die Gesundheit und den Ort aller Meta-und Speicherknoten über Heartbeats und Verwaltungssystemkonfiguration, einschließlich Datenreplikationslayouts.
Die tatsächlichen Dateidaten werden von den Speicherknoten verwaltet. Diese Knoten verwenden eine benutzerdefinierte, rostbasierte”Chunkengine”, um Datenblöcke auf physischen Scheiben zu verarbeiten, wobei LevelDB standardmäßig für die Speicherung von Chunk-Metadata-Lokal-Lokal-Lokal-Loga-Lokal-Logon-Logon-Logon-A-
-Indb-I/O-I/O. Schnittstelle, io_uring . Um die Datenintegrität über Knoten zu gewährleisten, verwendet 3Fs Kettenreplikation mit den geporchierten Abfragen (CRAQ). in Ketten und sorgt für eine starke Konsistenz durch sorgfältige Verwaltung von Schreibverbreitung und Bekanntheit von Anerkennung. Reads von engagierten („sauberen“) Daten können von jeder Replik serviert werden, wodurch die Leistung für die in AI üblichen Arbeiten verbessert werden kann, während die Reads von nicht gebrauchten („schmutzigen“) Daten auf die maßgebliche Tail-Replikie gerichtet sind. and Target Workloads
DeepSeek highlights several AI-centric use cases for 3FS: managing large datasets for data preparation, enabling direct random access for training dataloaders (potentially reducing the need for complex prefetching), high-throughput parallel model checkpointing, and serving inference KVCache from lower-cost, high-capacity SSDs. Leistungszahlen, die von Deepseek geteilt wurden, Berichten zufolge von der internen Verwendung bis mindestens 2019 und auf ihren großziellen “feuerfeuer”AI-HPC-Infraining-Servier. GPUs), beanspruchen Sie ein Aggregat-Lesedurchsatz, der während des Spannungstests ungefähr 6,6 TIB/s erreicht. Darüber hinaus berichtete das Unternehmen mit ihrer Open-Source `Smallpond` Sortierwerkzeug für das Sortieren von 110,5 TIB in einem 25-minütigen Aufbewahrungscruster mit 25 Minuten. Für KVCACHE-Lesungen wurde der Peak-Client-Durchsatz als bis zu 40 Gib/s zitiert. A Selbstgeprägte Kritik-Tuning (SPCT) Forschung. Diese Strategie erscheint teilweise von Notwendigkeit angetrieben; Tech Giant Tencent, der die Verwendung von Deekseek-Modellen im März 2025 bestätigte, stellte fest, dass der breitere Trend unter chinesischen Firmen, die sich an Hardware-Einschränkungen anpassten. Für die Effizienz wird durch laufende US-Exportkontrollen, die den Zugang zu hochmodernen GPUs beeinflussen, verstärkt. Der 3FS-Quellcode zusammen mit Build-Anweisungen und Dokumentation wie a Github-Repository . Das Aufbau des Systems erfordert unter anderem spezifische Versionen von”libfuse”, FoundationDB und der Rust Toolchain, unter anderem für verschiedene Linux-Verteilungen. Benutzer, die auf Probleme stoßen Verfügbarkeit und Community-Engagement