Ακόμη και οι μετα-πλατφόρμες δεν είναι άνοσοι με το εντυπωσιακό κόστος του αγώνα AI. Η εταιρεία πέρασε τμήματα του περασμένου έτους πλησιάζοντας τους ανταγωνιστές, όπως η Microsoft, η Amazon και άλλοι, αναζητώντας οικονομική βοήθεια για να εκπαιδεύσουν τα μεγάλα γλωσσικά μοντέλα Llama-Microsof Πληροφορίες
Αυτές οι προφανείς, σύμφωνα με πληροφορίες που ονομάζονταν το γήπεδο”Κοινοπραξίας”Λάμα”, οδηγήθηκαν από την ανησυχία εντός των μετα-για τους κλιμακωτούς πόρους που απαιτούνται για την ανάπτυξη της τεχνητής νοημοσύνης, ανέφεραν δύο άνθρωποι. Ως γλυκαντικό, ο Meta προφανώς συζήτησε δίνοντας στους πιθανούς οικονομικούς υποστηρικτές ένα λόγο στη μελλοντική ανάπτυξη των χαρακτηριστικών του LLAMA.
Πηγές υποδηλώνουν ότι η αρχική αντίδραση στην πρόταση της Meta ήταν χλιαρή και δεν είναι βέβαιο εάν χτυπήθηκαν επίσημες συμφωνίες χρηματοδότησης. Ακόμα, η προσπάθεια αποκαλύπτει το έντονο οικονομικό βάρος που εμπλέκεται στην οικοδόμηση των κορυφαίων συστημάτων AI, ασκώντας πίεση ακόμη και σε εταιρείες με βαθιές τσέπες της Meta και σηματοδοτώντας τα υψηλά πονταρίσματα σε γενετικά AI. 4-Τα τελευταία μοντέλα της Meta
Η αναζήτηση της Meta για τους συνεργάτες χρηματοδότησης εκτοξεύει την πρόσφατη ανακοίνωση Llama 4 σε νέο φως. Αυτή η απελευθέρωση εισήγαγε το LLAMA 4 Scout (109B Total Parameters, 17B Active) με στόχο τη χρήση ενός GPU με ένα εξαιρετικά μεγάλες 10 εκατομμύρια συμβολικές περιεχομένου-ικανό να επεξεργαστεί περίπου 7,5 εκατομμύρια λέξεις ταυτόχρονα. Και οι δύο χρησιμοποιούν μια αρχιτεκτονική μείγματος-ειδικών (MOE), μια τεχνική που χρησιμοποιεί εξειδικευμένα υπο-δίκτυα («εμπειρογνώμονες») όπου μόνο οι απαραίτητες ενεργοποιούνται ανά εργασία, με στόχο τη μεγαλύτερη απόδοση κατά τη διάρκεια της λειτουργίας σε σύγκριση με πυκνά μοντέλα, όπου όλες οι παράμετροι χρησιμοποιούνται πάντα.
Υποστηρίζοντας αυτά είναι το ακόμα μη ενταγμένο LLAMA 4 Behemoth, ένα μοντέλο παραμέτρων 2 τριμήνων που χρησιμοποιείται εσωτερικά για απόσταξη (διδασκαλία μικρότερων μοντέλων), η οποία απαιτούσε εκπαίδευση σε έως και 32.000 GPU. Οι μετα-χρησιμοποιούμενες τεχνικές όπως η ακρίβεια FP8-μια μορφή αριθμού χαμηλότερης ακρίβειας που επιταχύνει τους υπολογισμούς-και νέα αρχιτεκτονικά συστατικά όπως η διεστραμμένη περιστροφική θέση (IROPE) για την αποτελεσματική διαχείριση των μακρών ακολουθιών. τεράστια υπολογιστική προσπάθεια και μηχανική προσπάθεια, εξηγώντας άμεσα την πιθανή ανάγκη για κοινές επενδύσεις. Ενώ η MOE προσφέρει πιθανή αποτελεσματικότητα των συμπερασμάτων, το κόστος κατάρτισης εκ των προτέρων παραμένει ένας σημαντικός παράγοντας. Η εταιρεία δήλωσε δημοσίως ότι ο στόχος της ήταν να αντιμετωπίσει τις αντιληπτές πολιτικές προκαταλήψεις στο LLMS, σημειώνοντας:”Είναι γνωστό ότι όλα τα κορυφαία LLMs είχαν προβλήματα με την προκατάληψη-συγκεκριμένα, έδειξαν ότι τα μειωμένα ποσοστά και τα ερεθιστικά ποσοστά και τα εντατικά στοιχεία του Internet. Παράλληλα με την ανάπτυξη εργαλείων ασφαλείας όπως το Llama Guard και το σύστημα κόκκινου ομίλου κατσίκας-μια μέθοδος αντιφατικών δοκιμών για την εξεύρεση τρωτών σημείων. Αυτά τα στρώματα ρύθμισης και ασφάλειας προσθέτουν περαιτέρω αναπτυσσόμενα γενικά έξοδα. Οι ενεργές αγωγές, συμπεριλαμβανομένου ενός που εμπλέκονται στην κωμική Sarah Silverman, ισχυρίζονται ότι η εταιρεία εκπαιδεύει μοντέλα Llama σε μαζικά σύνολα δεδομένων πειρατικών βιβλίων που προέρχονται από βιβλιοθήκες όπως το LibGen μέσω της ανταλλαγής αρχείων Bittorrent. Τα έγγραφα του δικαστηρίου ανακοίνωσαν ότι αποκάλυψαν την εσωτερική ανησυχία, με έναν μηχανικό να αναφέρει ότι”το torrenting από ένα μετα-ιδιοκτησιακό φορητό υπολογιστή δεν αισθάνεται σωστή.”
Οι ισχυρισμοί που προέκυψαν στα τέλη Μαρτίου 2025 ότι η Meta μπορεί επίσης να επαναφορτώσει περίπου το 30% των δεδομένων, ενδεχομένως να αποδυναμώσει τα επιχειρήματα της χρήσης και στην αύξηση των νόμιμων ή των μελλοντικών δαπανών, των εικονιδίων, των λιθογραφικών δεδομένων. Τέτοιες διαμάχες θα μπορούσαν να αντιπροσωπεύουν ένα σημαντικό, αν και λιγότερο ορατό, οδηγό συνολικών εξόδων ανάπτυξης AI. Τα μοντέλα ενσωματώθηκαν σε χαρακτηριστικά Meta AI σε WhatsApp, Instagram και Facebook λίγο μετά την εκτόξευση. Διατέθηκαν επίσης για λήψη και μέσω συνεργατών του Cloud-συμπεριλαμβανομένου του Amazon Sagemaker JumpStart και της Microsoft -αν και κυρίως υπό προσαρμοσμένη εμπορική άδεια, όχι ένα τυπικό ανοιχτό κώδικα. Αυτή η στρατηγική ελεγχόμενης απελευθέρωσης διατηρεί το meta που εμπλέκεται στην ανάπτυξη του LLAMA, εξισορροπώντας το άνοιγμα με τα εμπορικά συμφέροντα.
Υπογραμμίζοντας περαιτέρω την εστίαση της Meta στη δική της AI ήταν η κίνηση της, αναφέρθηκε γύρω για να εμποδίσει τα χαρακτηριστικά της Apple Intellig της Apple. Αυτό εμποδίζει τους χρήστες του iPhone να χρησιμοποιούν εργαλεία γραφής AI της Apple ή Genmoji στο Facebook ή Instagram, ωθώντας τους προς τις εναλλακτικές λύσεις που βασίζονται στη Meta με βάση το meta και την Apple, σύμφωνα με τις οποίες καταλήγουν σε σχέση με την ιδιότητα του ανταγωνισμού. Η προσέγγιση της Meta διαφέρει επίσης από το μοντέλο της Apple, που συχνά επικεντρώνεται στην ιδιωτική ζωή, συχνά, μια διάκριση που υπογραμμίζεται από τη δημόσια συζήτηση της Meta σχετικά με τον συντονισμό των πολιτικών κλιμάκων του Llama 4 και την ταυτόχρονη, αμφιλεγόμενη roll-back του τρίτου ελέγχου των γεγονότων στις ΗΠΑ, ξεκινώντας από τον Ιανουάριο του 2025. href=”https://www.llama.com/events/llamacon/signup/”target=”_ blank”> event llamacon που έχει προγραμματιστεί για τις 29 Απριλίου, ενδεχομένως προσφέροντας ενημερώσεις για το τεράστιο μοντέλο Behemoth ή το επερχόμενο μοντέλο Llama 4-V Vision.