Το DeepSeeek AI κυκλοφόρησε πρόσφατα το σύστημα File και P> Github κάτω από ένα mit license href=”https://www.scmp.com/tech/big-tech/article/3253160/chinese-ia-start-deepseek-praised-open-source-community-disclosing-technical-details-about-its”target=”_ blank”>”Open Source” Πρωτοβουλία.
Σχεδιασμένο ρητά για να αξιοποιήσει τα σύγχρονα δίκτυα SSD και RDMA, το 3FS στοχεύει να συγκεντρώσει πόρους αποθήκευσης από δυνητικά εκατοντάδες κόμβους σε μια ενοποιημένη πισίνα που είναι προσβάσιμη μέσω μιας τυπικής διεπαφής συστήματος αρχείων. Σύμφωνα με το DeepSeeek’s Σχεδιασμός Σχεδιασμού Εργασίες, ενώ στοχεύετε σε υψηλές συνολικές επιδόσεις και ανοχή σφάλματος. εξαρτήματα. Οι λειτουργίες μεταδεδομένων (όπως η δημιουργία αρχείων, οι αναζητήσεις και η διαχείριση χαρακτηριστικών) αντιμετωπίζονται με μετα-κόμβους. Βασικά, αυτοί οι κόμβοι έχουν σχεδιαστεί για να είναι ανιθαγενείς, εκφορτώντας ανθεκτικότητα και συνέπεια σε ένα εξωτερικό ίδρυμα Το FoundationDB παρουσίασε ιστορικά ορισμένες επιχειρησιακές πολυπλοκότητες, ιδιαίτερα όσον αφορά την ολοκλήρωση του Kubernetes, αν και οι αφοσιωμένοι φορείς εκμετάλλευσης τώρα στοχεύουν στη διευκόλυνση της ανάπτυξης. Ένας κεντρικός κόμβος MGMTD χρησιμεύει ως εγκέφαλος του συμπλέγματος, παρακολουθώντας την υγεία και τη θέση όλων των κόμβων μετα-και αποθήκευσης μέσω καρδιακών παλμών και διαχείρισης διαμόρφωσης του συστήματος, συμπεριλαμβανομένων των διατάξεων αντιγραφής δεδομένων. Αυτοί οι κόμβοι χρησιμοποιούν ένα προσαρμοσμένο, σκουριά `chunkengine` για να χειριστούν τα μπλοκ δεδομένων σε φυσικούς δίσκους, χρησιμοποιώντας leveldb io_uring . Για να διασφαλιστεί η ακεραιότητα των δεδομένων σε όλους τους κόμβους, το 3FS χρησιμοποιεί . αλυσίδες και εξασφαλίζει έντονη συνέπεια με τη προσεκτική διαχείριση της διάδοσης της εγγραφής και των αναγνωρίσεων. Οι ανάγνωσεις των δεσμευμένων (“καθαρών”) δεδομένων μπορούν να εξυπηρετηθούν από οποιοδήποτε αντίγραφο, βελτιώνοντας την απόδοση για το φορτίο εργασίας που είναι κοινά στο AI, ενώ η διάταξη των μη δεσμευμένων (“βρώμικου”) δεδομένων είναι κατευθυνόμενη στην αυθεντική αντίγραφο της ουράς. Οι αξιώσεις και οι φόρτοι εργασίας στοχεύουν
Το DeepSeeek υπογραμμίζει αρκετές περιπτώσεις AI-κεντρικής χρήσης για 3Fs: διαχείριση μεγάλων συνόλων δεδομένων για την προετοιμασία δεδομένων, επιτρέποντας την άμεση τυχαία πρόσβαση για την κατάρτιση dataLoaders. Τα στοιχεία που μοιράζονται το Deepseek, σύμφωνα με πληροφορίες από την εσωτερική χρήση που χρονολογούνται από τουλάχιστον το 2019 και δοκιμάστηκαν σε μεγάλες κλίμακες Η συσσωμάτωση της απόδοσης ανάγνωσης φτάνει περίπου 6,6 TIB/s κατά τη διάρκεια των δοκιμών στρες. Επιπλέον, χρησιμοποιώντας το ανοιχτό κώδικα smallpond` Το εργαλείο ταξινόμησης, Για την KVCache Reads, η μέγιστη απόδοση του πελάτη αναφέρθηκε ως 40 GIB/s. A custom fio ingine Παρέχεται για benchmarking. Το 3FS ταιριάζει σε ένα πρότυπο πρόσφατης δραστηριότητας που παρουσιάζει την εστίαση του Deepseek στην αρχιτεκτονική αποτελεσματικότητα. Η”εβδομάδα ανοιχτού κώδικα”τους οδήγησε τελικά σε οκτώ αποθετήρια που μοιράζονται, συμπεριλαμβανομένης της απελευθέρωσης του FlashMLA της 18ης Απριλίου, ενός βελτιστοποιημένου πυρήνα προσοχής. Target=”_ blank”> Αυτο-principled ρύθμιση κριτικής (SPCT)
Αυτή η ανάγκη για αποτελεσματικότητα ενισχύεται από τους συνεχιζόμενους ελέγχους εξαγωγής των ΗΠΑ που επηρεάζουν την πρόσβαση σε GPUs αιχμής.
Διαθεσιμότητα και εμπλοκή της κοινότητας
Ο πηγαίος κώδικας 3FS, μαζί με τις οδηγίες δημιουργίας και την τεκμηρίωση σαν ένα github αποθήκη . Η οικοδόμηση του συστήματος απαιτεί συγκεκριμένες εκδόσεις των «LibFuse», FoundationDB και της εργαλειοθήκης Rust, μεταξύ άλλων εξαρτήσεων που περιγράφονται για διάφορες κατανομές Linux. Οι χρήστες που αντιμετωπίζουν ζητήματα απευθύνονται στον αποθετηρίου jued tracker