Hệ thống tệp phân tán 3FS nguồn mở của DeepSeek, hứa hẹn hiệu quả và mở rộng tốt hơn cho khối lượng công việc AI

DeepSeek AI gần đây đã phát hành Hệ thống tệp lửa (3FS) Theo Giấy phép MIT , bản phát hành xảy ra như một phần của Deepseek vào cuối tháng 2/đầu tháng 3 href=”https://www.scmp.com/tech/big-tech/article/3253160/chinese-ai-start-deepseek-praised 

Được thiết kế rõ ràng để tận dụng các mạng SSD và RDMA hiện đại, 3Fs nhằm mục đích tổng hợp các tài nguyên lưu trữ từ hàng trăm nút có thể truy cập được vào nhóm hợp nhất thông qua giao diện hệ thống tệp tiêu chuẩn. Theo DeepSeek,

Trong lịch sử đã trình bày một số phức tạp hoạt động, đặc biệt là liên quan đến tích hợp Kubernetes, mặc dù các nhà khai thác chuyên dụng hiện nhằm mục đích dễ dàng triển khai. Một nút MGMTD trung tâm đóng vai trò là bộ não của cụm, theo dõi sức khỏe và vị trí của tất cả các nút lưu trữ và meta thông qua nhịp tim và cấu hình hệ thống quản lý, bao gồm bố trí sao chép dữ liệu.

Dữ liệu tệp thực tế được quản lý bởi các nút lưu trữ. Các nút này sử dụng một `Chunkengine` dựa trên rỉ sét để xử lý các khối dữ liệu trên các đĩa vật lý, sử dụng io_uring . Để đảm bảo tính toàn vẹn dữ liệu trên các nút, 3Fs sử dụng

DeepSeek nhấn mạnh một số trường hợp sử dụng trung tâm AI cho 3FS: Quản lý các bộ dữ liệu lớn để chuẩn bị dữ liệu, cho phép truy cập ngẫu nhiên trực tiếp để tải về hiệu suất của PP Được chia sẻ bởi Deepseek, theo báo cáo từ việc sử dụng nội bộ có từ ít nhất là năm 2019 và được thử nghiệm trên quy mô lớn của họ `smallpond` Công cụ sắp xếp, công ty đã báo cáo sắp xếp 110.5 TiB chỉ trong hơn 30 phút trên một cụm lưu trữ 25 nút. Đối với KVCache Reads, thông lượng máy khách cao điểm được trích dẫn là lên tới 40 Gib/s. A Điều chỉnh phê bình tự hành (SPCT) Nghiên cứu.

Chiến lược này xuất hiện một phần do sự cần thiết; Công nghệ khổng lồ Tencent, xác nhận việc sử dụng các mô hình DeepSeek vào tháng 3 năm 2025, lưu ý xu hướng rộng hơn trong số các công ty Trung Quốc thích nghi với các giới hạn phần cứng.

Nhu cầu hiệu quả này được khuếch đại bởi các điều khiển xuất khẩu liên tục của Hoa Kỳ ảnh hưởng đến việc tiếp cận với GPU tiên tiến. 

Tính khả dụng và sự tham gia của cộng đồng

Mã nguồn 3FS, cùng với các hướng dẫn và tài liệu xây dựng như Kho lưu trữ GitHub . Xây dựng hệ thống yêu cầu các phiên bản cụ thể của `libfuse`, FoundationDB và dụng cụ rỉ sét, trong số các phụ thuộc khác được nêu cho các phân phối Linux khác nhau. Người dùng gặp sự cố được chuyển đến kho lưu trữ Trình theo dõi vấn đề .