DeepSeek AI recently released its Fire-Flyer File System (3FS) as open source, presenting a distributed storage solution specifically engineered for the high-throughput, low-latency demands of artificial intelligence training and inference.
Made available on GitHub di bawah lisensi mit , rilis terjadi sebagai bagian dari akhir Februari/awal Maret 2025 href=”https://www.scmp.com/tech/big-tech/article/3253160/chinese-ai-start-deepseek-praiping-open-source-community-disclosing-technical-details-about-its”target=”_ blank”>”open source-technical-details-abbout-its”target=”_ blank”>”sumber open-technical-details>.
Dirancang secara eksplisit untuk memanfaatkan SSD modern dan jaringan RDMA, 3FS bertujuan untuk mengumpulkan sumber daya penyimpanan dari berpotensi ratusan node menjadi kumpulan terpadu yang dapat diakses melalui antarmuka sistem file standar. Menurut Deepseek’s CATATAN DISTRIBUT SEMUA LOCKUS-SKOUS-SKOUS-LOKAL-SKOICE-SMALUSE-SUMBLIFIONAL untuk node komputasi untuk berinteraksi dengan Petaby-scale-scale-scale-localy-localy-localy-localy, localy-localy-localy-localy-localy, scale-scale-scale-scale for localy-scale for localy for localy untuk berinteraksi dengan scale-scale-scale-scale-scale-scale-scale, mengarahkan kinerja agregat tinggi dan toleransi kesalahan.
the 3fs: arsitektur dan mekanisme konsisten FoundationDB cluster – Apple’s open-source distributed transactional key-value store.
While powerful, FoundationDB secara historis menyajikan beberapa kompleksitas operasional, terutama mengenai integrasi Kubernetes, meskipun operator yang berdedikasi sekarang bertujuan untuk memudahkan penyebaran. Node MGMTD pusat berfungsi sebagai otak cluster, melacak kesehatan dan lokasi semua meta dan node penyimpanan melalui detak jantung dan mengelola konfigurasi sistem, termasuk tata letak replikasi data.
Data file aktual dikelola oleh node penyimpanan. Node-node ini menggunakan `chunkengine` berbasis karat untuk menangani blok data pada disk fisik, menggunakan io_uring . Untuk memastikan integritas data di seluruh node, 3FS menggunakan replikasi rantai dengan queries yang ada (cruq. dalam rantai dan memastikan konsistensi yang kuat dengan mengelola propagasi menulis dengan cermat dan melakukan pengakuan. Data pembacaan yang berkomitmen (“bersih”) dapat dilayani oleh replika apa pun, meningkatkan kinerja untuk beban kerja yang berat yang umum di AI, sementara pembacaan data yang tidak berkomitmen (“kotor”) diarahkan ke replika ekor otoritatif.
Klaim yang diketahui dari protokol berbasis rantai seperti craq adalah latensi yang dapat ditulis dengan lambat. Beban kerja target
Deepseek menyoroti beberapa kasus penggunaan AI-sentris untuk 3FS: mengelola dataset besar untuk persiapan data, memungkinkan akses acak langsung untuk pelatihan dataloader (berpotensi mengurangi kebutuhan p-caps-caps, dan p-cape-coss-coss, dan pengurangan p-cape-coss-coss, dan pengurangan p-cape-coss-coss, dan pengurangan cver-caps-caps, dan pelayanan p-caps-coss-coss-cosspointing, dan inference-peverpen-coss-coss-cosspoPPoTing, dan PREFER-COVERSICE PENDINGSI-SING-CAPSSEPPUT TINGKAT PARALLEL, DAN PERSIVINCE PERSIVERSI PERANGKAS KOMENSI KV) Dibagikan oleh Deepseek, dilaporkan dari penggunaan internal sejak setidaknya 2019 dan menguji skala besar . Throughput baca agregat mencapai sekitar 6,6 tib/s selama pengujian stres.
Gambar ini sebanding dengan tolok ukur yang dikutip untuk sistem lain seperti CEPH pada konfigurasi perangkat keras yang berbeda. Selain itu, menggunakan sumber terbuka `smallpond` Alat penyortiran, perusahaan melaporkan menyortir 110,5 TIB hanya dalam 30 menit pada kluster penyimpanan 25-node. Untuk pembacaan KVCACHE, throughput klien puncak dikutip hingga 40 gib/s. A Kontore Kustom disediakan untuk benchmarking.
Kontake disediakan untuk benchmarking.
custom engyness disediakan untuk benchmarking.
custom ouctionsysyssness. 3FS cocok dengan pola aktivitas baru-baru ini yang menampilkan fokus Deepseek pada efisiensi arsitektur.”Pekan Sumber Terbuka”mereka pada akhirnya mengakibatkan delapan repositori yang dibagikan, termasuk rilis FlashMLA 18 April, kernel perhatian yang dioptimalkan.
Ini mengikuti rilis publikasi Open-Weight 24 Maret. target=”_ blank”> Penelitian kritik prinsip-diri (SPCT) Penelitian.
Strategi ini sebagian didorong oleh kebutuhan; tech giant Tencent, confirming its use of DeepSeek models in March 2025, noted the wider trend among Chinese firms adapting to hardware limitations.
Tencent stated on their recent earnings call: “Chinese companies are generally prioritizing efficiency and utilization — efficient utilization of the GPU servers… DeepSeek’s success really sort of symbolize and solidify — demonstrated that — that reality.”
Kebutuhan untuk efisiensi ini diperkuat oleh kontrol ekspor A.S. yang sedang berlangsung yang mempengaruhi akses ke GPU mutakhir.
Ketersediaan dan Keterlibatan Komunitas
Kode sumber 3FS, bersama dengan instruksi pembuatan dan dokumentasi seperti Github Repository . Membangun sistem memerlukan versi spesifik `libfuse`, foundationDB, dan rust toolchain, di antara dependensi lain yang diuraikan untuk berbagai distribusi Linux.
Repositori dengan cepat mendapatkan daya tarik setelah rilis, mengumpulkan lebih dari 8.700 bintang dan 860 forks, yang menunjukkan minat yang kuat dari komunitas pengembang. Pengguna yang bertemu masalah diarahkan ke repositori Pelacak masalah .
custom engyness disediakan untuk benchmarking.
custom ouctionsysyssness. 3FS cocok dengan pola aktivitas baru-baru ini yang menampilkan fokus Deepseek pada efisiensi arsitektur.”Pekan Sumber Terbuka”mereka pada akhirnya mengakibatkan delapan repositori yang dibagikan, termasuk rilis FlashMLA 18 April, kernel perhatian yang dioptimalkan.
Ini mengikuti rilis publikasi Open-Weight 24 Maret. target=”_ blank”> Penelitian kritik prinsip-diri (SPCT) Penelitian.
Strategi ini sebagian didorong oleh kebutuhan; tech giant Tencent, confirming its use of DeepSeek models in March 2025, noted the wider trend among Chinese firms adapting to hardware limitations.
Tencent stated on their recent earnings call: “Chinese companies are generally prioritizing efficiency and utilization — efficient utilization of the GPU servers… DeepSeek’s success really sort of symbolize and solidify — demonstrated that — that reality.”
Kebutuhan untuk efisiensi ini diperkuat oleh kontrol ekspor A.S. yang sedang berlangsung yang mempengaruhi akses ke GPU mutakhir.
Ketersediaan dan Keterlibatan Komunitas
Kode sumber 3FS, bersama dengan instruksi pembuatan dan dokumentasi seperti Github Repository . Membangun sistem memerlukan versi spesifik `libfuse`, foundationDB, dan rust toolchain, di antara dependensi lain yang diuraikan untuk berbagai distribusi Linux.
Repositori dengan cepat mendapatkan daya tarik setelah rilis, mengumpulkan lebih dari 8.700 bintang dan 860 forks, yang menunjukkan minat yang kuat dari komunitas pengembang. Pengguna yang bertemu masalah diarahkan ke repositori Pelacak masalah .
custom ouctionsysyssness. 3FS cocok dengan pola aktivitas baru-baru ini yang menampilkan fokus Deepseek pada efisiensi arsitektur.”Pekan Sumber Terbuka”mereka pada akhirnya mengakibatkan delapan repositori yang dibagikan, termasuk rilis FlashMLA 18 April, kernel perhatian yang dioptimalkan.
Ini mengikuti rilis publikasi Open-Weight 24 Maret. target=”_ blank”> Penelitian kritik prinsip-diri (SPCT) Penelitian.
Strategi ini sebagian didorong oleh kebutuhan; tech giant Tencent, confirming its use of DeepSeek models in March 2025, noted the wider trend among Chinese firms adapting to hardware limitations.
Tencent stated on their recent earnings call: “Chinese companies are generally prioritizing efficiency and utilization — efficient utilization of the GPU servers… DeepSeek’s success really sort of symbolize and solidify — demonstrated that — that reality.”
Kebutuhan untuk efisiensi ini diperkuat oleh kontrol ekspor A.S. yang sedang berlangsung yang mempengaruhi akses ke GPU mutakhir.
Ketersediaan dan Keterlibatan Komunitas
Kode sumber 3FS, bersama dengan instruksi pembuatan dan dokumentasi seperti Github Repository . Membangun sistem memerlukan versi spesifik `libfuse`, foundationDB, dan rust toolchain, di antara dependensi lain yang diuraikan untuk berbagai distribusi Linux.
Repositori dengan cepat mendapatkan daya tarik setelah rilis, mengumpulkan lebih dari 8.700 bintang dan 860 forks, yang menunjukkan minat yang kuat dari komunitas pengembang. Pengguna yang bertemu masalah diarahkan ke repositori Pelacak masalah .
Ini mengikuti rilis publikasi Open-Weight 24 Maret. target=”_ blank”> Penelitian kritik prinsip-diri (SPCT) Penelitian.
Strategi ini sebagian didorong oleh kebutuhan; tech giant Tencent, confirming its use of DeepSeek models in March 2025, noted the wider trend among Chinese firms adapting to hardware limitations.
Tencent stated on their recent earnings call: “Chinese companies are generally prioritizing efficiency and utilization — efficient utilization of the GPU servers… DeepSeek’s success really sort of symbolize and solidify — demonstrated that — that reality.”
Kebutuhan untuk efisiensi ini diperkuat oleh kontrol ekspor A.S. yang sedang berlangsung yang mempengaruhi akses ke GPU mutakhir.
Ketersediaan dan Keterlibatan Komunitas
Kode sumber 3FS, bersama dengan instruksi pembuatan dan dokumentasi seperti Github Repository . Membangun sistem memerlukan versi spesifik `libfuse`, foundationDB, dan rust toolchain, di antara dependensi lain yang diuraikan untuk berbagai distribusi Linux.
Repositori dengan cepat mendapatkan daya tarik setelah rilis, mengumpulkan lebih dari 8.700 bintang dan 860 forks, yang menunjukkan minat yang kuat dari komunitas pengembang. Pengguna yang bertemu masalah diarahkan ke repositori Pelacak masalah .