DeepSeek AI Nemrégiben kiadta a tűzoltó fájlrendszert (3fs) , mint nyílt forráskódú, kifejezetten megtervezett tárolási megoldást mutat be, amely rendelkezésre bocsátott, az Articial Intelligence képzési képzési képzési képzésére, és az infinencia-képzésre. egy MIT licenc href=”https://www.scmp.com/tech/big-tech/article/3253160/chinese-ai-start-deepseek-braied-open-ource-community-disclosingtechnikai-details-about-abt-tice”Target=”_ üres”> “Open Source Week” kezdeményezés. A 3FS
kifejezetten a modern SSD-k és az RDMA hálózatok kiaknázására tervezett, hogy a tárolási erőforrásokat potenciálisan több száz csomópontból egységes, egységes medencévé tegye, amely egy szabványos fájlrendszer-interfészen keresztül elérhető. A DeepSeek tervezési megjegyzések szerint, ez lehetővé teszi a kiszámított csomópontokkal való kölcsönhatáshoz való kölcsönhatáshoz való kölcsönhatáshoz való kölcsönhatáshoz való kölcsönhatáshoz való kölcsönhatáshoz való kölcsönhatáshoz való kölcsönhatáshoz való kölcsönhatásba lépést, amely a Petabyte-Scale tárolót. Feladatok, miközben a nagy teljesítményre és a hibatoleranciára törekszenek. alkatrészek. A metaadat-műveleteket (például a fájlkészítést, a kereséseket és az attribútumkezelést) meta csomópontok kezelik. Lényeges, hogy ezeket a csomópontokat hontalannak tervezték, a tartósságot és a konzisztenciát egy külső alapanyag-erőforrások elosztott tranzakciós kulcsszólójához. A FoundationDB történelmileg bemutatott bizonyos operatív bonyolultságokat, különös tekintettel a Kubernetes integrációra, bár a dedikált szolgáltatók most a telepítés megkönnyítésére törekszenek. Egy központi MGMTD csomópont a klaszter agyaként szolgál, nyomon követve az összes meta-és tárolási csomópont egészségét és helyét a szívverés és a rendszerkonfiguráció kezelése révén, beleértve az adat replikáció elrendezését. Ezek a csomópontok egy egyedi, rozsda-alapú „chunkengine” használnak az adatblokkok kezelésére a fizikai lemezeken, a io_uring . A csomópontok közötti adatok integritásának biztosítása érdekében a 3FS lánc replikációval (Craq)
bllant. A láncok és biztosítják az erős konzisztenciát az írási terjedés gondos kezelésével és az elismeréseket. Az elkötelezett („tiszta”) adatok olvasásai bármilyen replikával szolgálhatnak, javítva az AI-ben közös olvasási nehéz munkaterhelés teljesítményét, míg a nem kötelező („piszkos”) adatok olvasása a hiteles farok replikájához irányul. és a célterhelések
A DeepSeek számos AI-centrikus felhasználási esetet kiemeli a 3FS-hez: Nagy adatkészletek kezelése az adatok előkészítéséhez, lehetővé téve a közvetlen véletlenszerű hozzáférést az edzőképzők számára (potenciálisan csökkentve a komplex előkészítés szükségességét), a nagy teljesítményű párhuzamos ellenőrzési pontok és a kiszolgálási kvcache kiszolgálása az alacsonyabb szintű, a magas színvonalú ssd-ekből. A DeepSeek megosztotta, állítólag a belső felhasználástól legalább 2019-ig nyúlik vissza, és tesztelték a nagyméretű “tűzoltók” AI-HPC infrastruktúra , a 180-szoros-noda-node chustering 10 000-et. Összesített olvasási teljesítmény, amely körülbelül 6,6 tib/s-t ér el a stresszvizsgálat során. Ezenkívül a nyílt szurkolás `smallpond` rendező eszköz használatával a vállalat a 110,5 TIB-t a 25-es tároló klaszteren történő rendezéséről számolt be. A KVCACHE olvasmányokhoz a csúcskliens átviteli sebességét legfeljebb 40 GIB/s-ig megemlítették. A Egyedi Fio motor biztosítja a Benchmarking. A legutóbbi tevékenység mintájába illeszkedik, amely bemutatja a DeepSeek építészeti hatékonyságára összpontosító hangsúlyt. A „nyílt forráskódú hete” végül nyolc adattár megosztását eredményezte, köztük a Flashmla április 18-i kiadását, egy optimalizált figyelőmagot. Target=”_ üres”> önmagában elítélt kritika hangolás (SPCT) Kutatás. A technológiai óriás Tencent, amely megerősíti a mélymagos modellek használatát 2025 márciusában, megjegyezte, hogy a kínai cégek körében szélesebb körű tendencia van a hardver korlátozásaihoz.
Ezt a hatékonysági igényt felerősíti a folyamatban lévő amerikai exportvezérlők, amelyek befolyásolják az élvonalbeli GPU-khoz való hozzáférést.
A rendelkezésre állás és a közösségi elkötelezettség
A 3FS forráskód, valamint az építési utasítások és a dokumentáció, például a setup útmutató. href=”https://github.com/deepseek-ai/3fs”Target=”_ üres”> github lerakat . A rendszer felépítéséhez a „libfuse”, a FoundationDB és a Rust Toolchain speciális verzióira van szükség, többek között a különféle Linux eloszlásokhoz vázolt függőségek között. A problémákkal küzdő felhasználók a Repository kiadás tracker .
.
.