Deepseekin avoimen lähdekoodin 3FS-hajautettu tiedostojärjestelmä lupaa tehokkuuden ja paremman skaalauksen AI-työmäärille

Deepseek AI julkaisi äskettäin Fire-Flyer-tiedostojärjestelmä (3FS) Avoimen lähdekoodin ja hajautetun tallennusratkaisun, joka on erityisesti suunniteltu korkean ajanjakson, matala-asteen vaatimusten perusteella. MIT-lisenssi , julkaisu tapahtui osana Deepeke’n helmikuun lopulla/maaliskuun 2025 “avoimen lähdekoodin viikko” aloitteellisuus. 

Suunniteltu nimenomaisesti nykyaikaisten SSD-levyjen ja RDMA-verkkojen hyödyntämiseksi 3FS: n tavoitteena on yhdistää tallennusresurssit mahdollisesti sadoista solmuista yhtenäiseen pooliin, johon pääsee tavanomaisella tiedostojärjestelmän rajapinnalla. Deepseek’s suunnittelu-muistiinpanoon mukaan tämä salli Suurten aggregaattien suorituskyvyn ja vikatoleranssin tavoite. Metatietooperaatiot (kuten tiedostojen luominen, haut ja attribuutin hallinta) hoitavat metasolmut. Tärkeää on, että nämä solmut on suunniteltu kansalaisuudettomiksi, purkaen kestävyyden ja johdonmukaisuuden ulkoiseen Foundationdb Cluster-Apple’s Open-Source Distransactional-näppäin-arvoinen. Historiallisesti esitteli joitain operatiivisia monimutkaisuuksia, etenkin Kubernetes-integraation suhteen, vaikka omistautuneiden operaattoreiden tavoitteena on nyt helpottaa käyttöönottoa. Keskeinen MGMTD-solmu toimii klusterin aivoina, seuraamalla kaikkien meta-ja tallennussolmujen terveyttä ja sijaintia sykehäntöjen avulla ja hallitsemalla järjestelmän kokoonpanoja, mukaan lukien datan replikaatioasettelut.

Tallennussolmut hallinnoivat todellisia tiedostotietoja. Nämä solmut käyttävät mukautettua, ruostepohjaista `Chunungine`-tapahtumaa fyysisten levyjen tietolohkojen käsittelemiseen tasondb Oletuksena CHunk Metadata-tapahtuman tallentamiseksi paikallisesti. rajapinta, IO_GING . Tietojen eheyden varmistamiseksi solmujen välillä 3FS työllistää . Ketjujen jäljennökset ja varmistaa vahvan johdonmukaisuuden hallitsemalla huolellisesti kirjoitusta ja sitoutumista. Minkä tahansa kopion voi palvella sitoutuneista (“puhdasta”) tiedosta, mikä parantaa AI: n yleisiä luku-raskaiden työmäärien suorituskykyä, kun taas sitoutumattomat (“likaiset)) tiedot kohdistetaan arvovaltaiseen takaosaan. Kohdetyökuormat

Deepseek korostaa useita 3FS: n AI-keskeisiä käyttötapauksia: suurten tietojoukkojen hallinta tietojen valmisteluun, mikä mahdollistaa suoran satunnaisen pääsyn dataloaders (mahdollisesti vähentämällä monimutkaisen esikäsittelyn tarvetta), korkean kehityksen rinnakkaismallin tarkistuspisteen ja palvelemisen päätelmän KVCACHE: n jakamisen, korkean kapasiteetin SSDSSSSSS: n ja PRE: n. Deepseek, jonka on ilmoitettu olevan sisäisen käytön juontoa ainakin vuoteen 2019 ja testattu heidän laaja-alaisella “Fire-Flyer”Ai-HPC-infrastruktuuri (Speciate Aggrey Aggrey Aggrey Aggrey Aggrey Aggrey Aggrey Aggrey Aggrey Aggrey Aggrey Aggrey Aggrey Aggrey Aggrey Aggrey Aggrey Aggrey Aggrey Aggrey Aggrey Aggrey Aggrey Aggrey Aggrey Aggrey Aggrey Aggrey Aggrey Aggrey Aggrew”aggrey on 180″. Suorituskyky saavuttaa noin 6,6 TIB/s stressitestauksen aikana.

Tämä kuva verrataan myönteisesti vertailuarvoihin, jotka on mainittu muille järjestelmille, kuten CEPH eri laitteistokokoonpanoissa. Lisäksi käyttämällä heidän avoimen lähdekoodin `Smallpond` Lajittelutyökalu, yritys ilmoitti lajittelusta 110,5 TIB: n hieman yli 30 minuuttia 25-solmujen varastointiklusterissa. KVCACHE-lukematta asiakkaan huipputason suorituskyky mainittiin jopa 40 GIB/s. A räätälöity fiO-moottori 3FS sopii viimeaikaisen toiminnan malliin, joka osoittaa Deepseekin keskittymisen arkkitehtoniseen tehokkuuteen. Heidän”avoimen lähdekoodin viikko”johti lopulta kahdeksan arkistoa, mukaan lukien Flashmlan, optimoidun huomion ytimen, 18. huhtikuuta julkaisu. Tämä seurasi Deepseek-V3-0324-mallin 24. maaliskuuta pidettävää avoimen viikon julkaisua ja huhtikuun julkaisua yksityiskohtaisesti heidän Itsepintainen kritiikin viritys (SPCT) Tutkimus.

Tämä strategia näyttää osittain välttämättömyyden ohjaamana; Tech-jättiläinen Tencent, joka vahvisti Deepseek-mallien käytön maaliskuussa 2025, totesi laitteistorajoitusten mukaisten kiinalaisten yritysten laajemman suuntauksen.

Tätä tehokkuuden tarvetta vahvistaa jatkuva Yhdysvaltain vientivalvonta, joka vaikuttaa huippuluokan GPU: n saatavuuteen. 

Saatavuus ja yhteisön sitoutuminen

3FS-lähdekoodi, sekä rakennusohjeet ja dokumentaatiot, kuten ​​asettua opasta href=”https://github.com/deepseek-ai/3fs”Target=”_ tyhjä”> Github-arkisto . Järjestelmän rakentaminen vaatii tiettyjä”libfuse`, FoundationDB: n ja Rust Toolchain-versioita muun muassa eri Linux-jakautumisille hahmoteltujen riippuvuuksien joukossa. Kohdassa olevat käyttäjät ohjataan arkiston Assuctor .