Η Meta Platforms κυκλοφόρησε επίσημα το Llama 3.3 70B, μια νέα προσθήκη στην οικογένεια των μοντέλων μεγάλων γλωσσών Llama (LLMs), η οποία στοχεύει να εξισορροπήσει την υπολογιστική απόδοση με την υψηλή απόδοση.
Το μοντέλο προσφέρει λειτουργικότητα συγκρίσιμη με αυτήν. τον προκάτοχό του, Llama 3.1 405B, αλλά το πετυχαίνει ενώ μειώνει σημαντικά το κόστος υποδομής. Ο Ahmad Al-Dahle, Αντιπρόεδρος Generative AI της Meta, τόνισε την καινοτομία σε μια ανάρτηση στο X.
Παρουσιάζοντας το Llama 3.3 – ένα νέο μοντέλο 70B που προσφέρει την απόδοση του μοντέλου μας 405B αλλά είναι ευκολότερο και πιο οικονομικό στην εκτέλεση. Αξιοποιώντας τις πιο πρόσφατες εξελίξεις στις τεχνικές μετά την εκπαίδευση, συμπεριλαμβανομένης της βελτιστοποίησης προτιμήσεων στο διαδίκτυο, αυτό το μοντέλο βελτιώνει την απόδοση του πυρήνα στο… pic.twitter.com/6oQ7b3Yuzc
— Ahmad Al-Dahle (@Ahmad_Al_Dahle) 6 Δεκεμβρίου 2024
Σχεδιασμένο για εργασίες όπως ακολουθώντας οδηγίες , επεξεργασία φυσικής γλώσσας και μαθηματικός συλλογισμός, Το Llama-3.3-70B-Instruct είναι πλέον διαθέσιμο για λήψη σε πλατφόρμες όπως Hugging Face και Ο επίσημος ιστότοπος της Meta.
Ωστόσο, η αδειοδότηση της. Οι όροι απαιτούν ειδική άδεια για πλατφόρμες με περισσότερους από 700 εκατομμύρια μηνιαίους χρήστες, εγείροντας ερωτήματα σχετικά με το ανοιχτό του μοντέλο.
Το μοντέλο ενσωματώνει προηγμένες τεχνικές όπως η εποπτευόμενη λεπτομέρεια και η ενισχυτική μάθηση από την ανθρώπινη ανάδραση (RLHF). Αυτές οι μέθοδοι βελτιώνουν τις δυνατότητές του, καθιστώντας το Llama 3.3 προσαρμόσιμο σε ποικίλες εμπορικές και ερευνητικές εφαρμογές, διατηρώντας παράλληλα την αποδοτικότητα κόστους.
Σχετικά: Το OpenAI λανσάρει το Reinforcement Fine-Tuning Framework για προσαρμογή AI
>
Εξισορρόπηση προσβασιμότητας και αρχών ανοιχτού κώδικα
Η Meta εμπορεύεται Το Llama μοντελοποιεί ως ανοιχτού κώδικα, αλλά οι επικριτές υποστηρίζουν ότι η περιοριστική αδειοδότηση υπονομεύει αυτόν τον ισχυρισμό. Η Πρωτοβουλία Ανοικτού Κώδικα (OSI) εισήγαγε πρόσφατα έναν ορισμό τεχνητής νοημοσύνης ανοιχτού κώδικα (OSAID) για τη διευκρίνιση των προτύπων, απαιτώντας τα μοντέλα να είναι πλήρως προσβάσιμα και τροποποιήσιμα. Ωστόσο, τα μοντέλα Llama εμπίπτουν σε αυτό που ορισμένοι ειδικοί περιγράφουν ως συστήματα «ανοιχτού βάρους», που προσφέρουν πρόσβαση σε εκπαιδευμένες παραμέτρους αλλά περιορίζουν τις εμπορικές εφαρμογές.
Ο Ali Farhadi του Ινστιτούτου Allen για την τεχνητή νοημοσύνη επέκρινε την προσέγγιση. Υποστήριξε ότι Τα συστήματα τεχνητής νοημοσύνης θα πρέπει να υπερβαίνουν την παροχή μερικής πρόσβασης σε εκπαιδευμένες παραμέτρους και, αντίθετα, να προσφέρουν πλήρη διαφάνεια στις διαδικασίες κατασκευής και εκπαίδευσής τους. βιομηχανία να εξισορροπήσει την καινοτομία με την προσβασιμότητα.
Υποδομή κλιμάκωσης για το Llama 4
Ενώ το Llama 3.3 δίνει έμφαση στην αποτελεσματικότητα, η Meta ετοιμάζεται να κλιμακώσει δραματικά την υποδομή της για το επερχόμενο Llama 4. Κατά τη διάρκεια της κλήσης κερδών του τρίτου τριμήνου της Meta, ο διευθύνων σύμβουλος Mark Zuckerberg αποκάλυψε ότι η εταιρεία εκπαιδεύει το Llama 4 σε ένα σύμπλεγμα με περισσότερες από 100.000 GPU Nvidia H100 Αυτό σηματοδοτεί ένα σημαντικό άλμα από τις 25.000 GPU που χρησιμοποιούνται για το Llama 3 και αντανακλά τη φιλοδοξία της Meta να παραμείνει στην πρώτη γραμμή της γενετικής ανάπτυξης AI.
Η κατανάλωση ενέργειας του συμπλέγματος GPU είναι αξιοσημείωτη. υπολογίζεται σε 150 μεγαβάτ—πενταπλάσια ενέργεια που απαιτείται για το Ελ Capitan, ο μεγαλύτερος υπερυπολογιστής στις Ηνωμένες Πολιτείες. Παρά τις ανησυχίες για την περιβαλλοντική βιωσιμότητα, ο Zuckerberg τόνισε την αναγκαιότητα τέτοιων επενδύσεων, δηλώνοντας ότι το Llama 4 θα απαιτούσε δέκα φορές την υπολογιστική ισχύ του προκατόχου του.
Σχετικά: Meta Uses OpenAI’s OpenAI. Το GPT-4 ως δικά του μοντέλα Llama AI δεν είναι αρκετά καλά
Η τεράστια κλίμακα της υποδομής του Llama 4 υπογραμμίζει το διπλό της Meta προσέγγιση: δημιουργία μοντέλων υψηλής απόδοσης για διαφορετικές περιπτώσεις χρήσης, ενώ παράλληλα επενδύει σε μεγάλο βαθμό σε παραγωγικά συστήματα τεχνητής νοημοσύνης μεγάλης κλίμακας.
Ωστόσο, η Meta δεν είναι η μόνη που αναβαθμίζει σημαντικά την υποδομή εκπαίδευσης τεχνητής νοημοσύνης. Το xAI του Έλον Μασκ διπλασιάζει αυτήν τη στιγμή τη χωρητικότητα του Colossus, του υπερυπολογιστή του που βασίζεται στο Μέμφις, σε πάνω από 1 εκατομμύριο GPU της Nvidia. Και η Amazon ανακοίνωσε πρόσφατα τα σχέδιά της για το Ultracluster της, που κατασκευάστηκε χρησιμοποιώντας προσαρμοσμένα τσιπ της Amazon και πρόκειται να γίνει ένας από τους πιο ισχυρούς υπερυπολογιστές τεχνητής νοημοσύνης στον κόσμο μέχρι σήμερα
Compact Models Drive Meta’s Edge AI Expansion
Τον Οκτώβριο, η Meta επέκτεινε τη σειρά Llama 3.2 με κβαντισμένα μοντέλα βελτιστοποιημένα για υπολογιστές αιχμής και κινητές συσκευές. Τα μικρότερα μοντέλα παραμέτρων 1B και 3B σχεδιάστηκαν για να λειτουργούν αποτελεσματικά σε συσκευές με περιορισμένους πόρους, χάρη σε τεχνολογίες όπως το Quantization-Aware Training ( QAT) και Προσαρμογείς χαμηλής κατάταξης (LoRA).
Αυτές οι μέθοδοι μειώνουν το Οι απαιτήσεις μνήμης των μοντέλων πάνω από 40% και επιταχύνουν τις ταχύτητες επεξεργασίας έως και τέσσερις φορές.
Οι συνεργασίες της Meta με Η Qualcomm και η MediaTek φέρνουν αυτές τις δυνατότητες στις συσκευές Android, επιδεικνύοντας τις πρακτικές εφαρμογές τους. Οι δοκιμές σε συσκευές όπως το OnePlus 12 αποκάλυψαν βελτιώσεις λανθάνοντος χρόνου και μειωμένη κατανάλωση ενέργειας, ευθυγραμμίζοντας με την αυξανόμενη ζήτηση του κλάδου για λύσεις τεχνητής νοημοσύνης επί της συσκευής με γνώμονα το απόρρητο.
Quantization, μια διαδικασία που μειώνει την ακρίβεια των βαρών και των ενεργοποιήσεων. στα μοντέλα AI, επιτρέπει την αποτελεσματική ανάπτυξη σε συσκευές χαμηλής κατανάλωσης χωρίς συμβιβασμούς στην ποιότητα. Η Meta εισήγαγε επίσης το SpinQuant, μια δευτερεύουσα μέθοδο κβαντοποίησης που βελτιστοποιεί την ανάπτυξη χωρίς να απαιτεί εκτεταμένα δεδομένα εκπαίδευσης.
Διπλή στρατηγική της Meta για την ηγεσία της τεχνητής νοημοσύνης
Η ταυτόχρονη κυκλοφορία του Llama. 3.3 και η προετοιμασία για το Llama 4 αντικατοπτρίζει τη διπλή στρατηγική της Meta για την ενίσχυση της επεκτασιμότητας κατά την τροφοδοσία σε κινητά και θήκες χρήσης άκρων. Επενδύοντας τόσο σε ογκώδη συμπλέγματα GPU όσο και σε συμπαγή, αποδοτικά μοντέλα, η Meta τοποθετείται ως ηγέτης στη γενετική καινοτομία τεχνητής νοημοσύνης.
Ωστόσο, προκλήσεις όπως ο ρυθμιστικός έλεγχος, οι περιβαλλοντικές ανησυχίες και οι συζητήσεις για τις αρχές ανοιχτού κώδικα. συνεχίστε να διαμορφώνετε την πορεία της εταιρείας.
