Meta on julkaissut Llaama 4 Scout and Llaama 4 Maverickin, kaksi avoimen painon rajan suurta kielimallia, jotka tuovat esiin suuria arkkitehtonisia muutoksia laajentaen yrityksen läsnäoloa kuluttajasovellusten ja pilviympäristöjen välillä.
molemmat mallit on suunniteltu natiivilla multimodaalisella rakenteella ja harva-seosten käyttämisellä ja MOE-malleilla (MOE), partiolaisella. Työkuormat. src=”data: kuva/svg+xml; nitro-namty-id=mtcwmzoxntk0-1; base64, phn2zyb2awv3qm94psiwidagmtaynca4nz Qiihdpzhropsixmdi0iibozwlnahq9ijg3ncigeg1sbnm9imh0dha6ly93d3cudzmub3jnlziwmdavc3znij48l3n2zz4=”>
Vaikka Scout on rakennettu sopimaan yhdelle H100 GPU: lle INT4-kvantisoinnin kautta, se tarjoaa silti luokan parhaan 10 miljoonan tunnuskontekstin pituuden, joka on kymmenkertainen harppaus aiempien mallien yli. Siinä on 17 miljardia aktiivista parametria, joissa on 16 asiantuntijaa ja 109 miljardia kokonaisparametria.
Maverick jakaa saman aktiivisen parametrimäärän, mutta Skaalaa MOE-asetukset 128 asiantuntijaan ja 400 miljardiin kokonaisparametriin, mikä mahdollistaa hienostuneemman päättelyn ja kuvan ymmärtämisen tehtävät. Molemmat mallit prosessoivat kuvia ja tekstiä yhdessä varhaisen fuusion kautta-menetelmä, jossa molemmat merkkiset tyypit on upotettu samaan selkärangan malliin esikarsustamisen aikana.
osana Meta-järjestelmätason mallia, malleja koulutettiin jopa 48 kuvaa esimerkkiä kohden, partiolaisten testaalla harjoituksen jälkeinen kuin kahdeksan. Tämä visuaalinen maadoitus mahdollistaa ominaisuudet, kuten objektien lokalisoinnin ja parannettu kohdistus kuvan sisällön ja kielikehotteiden välillä. Meta: n mukaan “LAMA 4 Scout on luokan parhaiten kuvan maadoituksessa, ja se pystyy kohdistamaan käyttäjän kehotteet asiaankuuluvien visuaalisten käsitteiden ja ankkurimallien vastauksiin kuvan alueille.”
Benchmark Suorituskyky: Scout, Maverick ja Behemoth
LLAMA 4 MOVERICK on sijoitettu meta-assistenssiin. ja sisäiset vertailuarvot heijastavat tätä väitettä. Visuaalisissa päättelytehtävissä se saavuttaa 90,0 Chartqa: lla ja 94,4 DocvqA: lla, ylittäen sekä GPT-4O: n että Gemini 2.0 Flashin. Se kirjautuu myös 73.7 MathVistaan ja 80,5 MMLU Pro: iin, mikä osoittaa vahvat yleiset päättelyominaisuudet.
Ohjelmointitehtävissä Maverick-pisteet 43,4 LiveCodebenchissä, sijoittamalla se GPT-4O: n ja Gemini 2.0 Flashin edelle ja juuri Deepseek V3.1: n alapuolelle. Sen avustaja suorituskykyä vahvistetaan ELO-luokitus 1417 LMARENA: lla. Kustannustehokkuuden suhteen META-arviot päätelmäkustannukset ovat 0,19–0,49 dollaria miljoonaa merkkiä 3: 1-tulo-tuotosseoksen alla. Se on 88,8 ChartQa: lla, joka vastaa Maverickia 94,4: llä DOCVQA: lla ja saavuttaa 74,3 MMLU Pro: lla. Nämä tulokset korostavat sen tehokkuutta visuaalisissa ja päättely vertailuarvoissa, etenkin kevyissä tai yhden GPU-käyttöönotoissa.
sen korkean pistemäärän pariteetti suuremmilla malleilla kuvatehtävissä merkitsee vahvoja suunnittelun optimointia, etenkin käytettäessä tapauksia, jotka vaativat kontekstirikkaista multimodaalista ymmärrystä, mutta vähemmän infrastruktuurin yläpuolella.
Lähde: Meta
Llaama 4 Behemoth on edelleen julkistamaton, mutta se toimi Maverickin ja Scout-koodin opettajamallina. 288 miljardilla aktiivisella parametrilla ja lähes 2 biljoonaa kokonaismäärää sen suorituskyky asettaa sen nykyisten LLM: ien ylemmälle. Meta raportoi 95,0: n vertailuarvot Math-500: lla, 82,2: lla MMLU Pro: lla, 73,7 GPQA-timantilla ja 85,8 monikielisessä MMLU: ssa.
Nämä pisteet osoittavat, että Behemoth ylittää Claude Sonnet 3.7, Gemini 2.0 Pro ja GPT-4,5 varsi-ja monikielisissä päättelytehtävissä, mikä vahvistaa sen roolia pienemmille LAMA 4-malleille. src=”data: kuva/svg+xml; nitro-namty-id=mtcyntoxntgx-1; base64, phn2zyb2awv3qm94psiwidagmtaynca1ndiiiihih dpzhropsixmdi0iibozwlnahq9iju0migeg1sbnm9imh0dha6ly93d3cudzmub3jnlziwmdavc3znij48l3n2zz4=”> Lähde: Meta
koulutusstrategia ja uudet arkkitehtuurit
LLAMA 4 Marks Meta: n ensimmäinen käyttö MOE-kerrosten käyttö, jotka on levinnyt tiheään kerrostuksiin tuotantomalleissa. Vain pieni osa parametreista aktivoidaan tunnusta kohti, mikä parantaa tehokkuutta vaikuttamatta merkittävästi laatuun. Jokainen Maverick-tunnus johdetaan yhdelle 128 asiantuntijasta plus jaettu asiantuntija, ja kaikki asiantuntijat ladataan muistissa, mutta aktivoidaan valikoivasti päätelmien aikana.
Meta toteutti myös uuden sijaintipaikan koodausjärjestelmän, nimeltään IROPE-Reaned Ritary-paikan upotukset-se vähentää tarpeen kiinteälle sijainnille ja parantaa pitkää käsitystä.”Kutsumme tätä Irope-arkkitehtuuriksi, jossa’minä’tarkoittaa”lomitettuja”huomiokerroksia, korostaen pitkän aikavälin tavoitetta tukea”ääretön”kontekstin pituutta.”
Scout että Maverick olivat sekä pre-että postituskoulutus 256K-kontekstin ikkunoilla sopeutumisen parantamiseksi pidempiin sekvensseihin. Yhtiö käytti FP8-tarkkuutta koulutukseen läpäisemisen lisäämiseksi saavuttaen 390 TFLOP: ta GPU: ta kohden Behemothin ennakkomaksun aikana 32 kt GPU: lla. Metap, järjestelmää dynaamisesti skaalausalustamista ja oppimisnopeuksia varten, käytettiin hyperparametrin virittämisen yleistämiseen vaihtelevien mallikokojen ja eräkokoonpanojen välillä. Käynnistämistä varten Meta teki yhteistyötä suurten pilvipalvelujen tarjoajien kanssa adoption nopeuttamiseksi. AWS lisäsi jo Llaama 4 Scout and Llaama 4 Maverick to Amazon Sagemaker Jumpstart , Bedrock-tuen odotetaan pian. Samanaikaisesti Microsoft otti käyttöön tuen Azure AI-yhdistyksen ja azure-tietokanta <-sarat lisensointi on myös muuttunut. Toisin kuin aiemmissa LLAMA-malleissa, jotka oli ensisijaisesti tarkoitettu ei-kaupalliseen tutkimukseen, uudet mallit julkaistaan mukautetulla kaupallisella lisenssillä. Meta kuvaa sitä joustavaksi, vaikka se pysähtyy täydellisen avoimen lähdekoodin tilasta. Llaama Guard , syöttö/lähtöluokittaja, joka perustuu MLCommonsin riskitaksonomiaan. Pika Guard, joka on koulutettu monille hyökkäystyypeille, on suunniteltu tarttumaan jailbreak-yrityksiin ja nopeisiin injektioihin. CyberseCevaal auttaa kehittäjiä testaamaan AI-malleja kyberturvallisuusuhkia vastaan. Meta esitteli myös uuden punaisen joukkueen kehyksen, nimeltään Goat-Generatiivinen hyökkäävä aine. Tämä työkalu simuloi monikuormituskeskusteluja keskipitkän taitavien vastustajien kanssa, auttaen meta-kattavuutta lisäämään ja paljastamaan haavoittuvuuksia tehokkaammin. puolueellisuus on edelleen keskeinen huolenaihe. Poliittisesti ladattujen aiheiden testeissä LLAMA 4: n kieltäytymisaste on laskenut alle 2 prosenttiin-laskusta 7 prosenttiin LLAMA 3,3: ssa. Ideologioiden epätasa-arvoinen vasteen kieltäytyminen on nyt alle 1%. Meta sanoo työskentelevänsä malleja, jotka voivat edustaa erilaisia näkökulmia asettamatta asennetta. LAMA 4 Scout ja Maverick ovat jo suorana metaan AI-ominaisuuksissa Whatsappissa, Messengerissä, Instagram Directissä ja web-käyttöliittymässä. Nämä integraatiot tarjoavat laajan testipellyn suorituskyvyn arvioimiseksi villissä, samalla kun ne paljastavat mallit samanaikaisesti laajoille käyttäjän syöttövirtoille, jotka voisivat ilmoittaa tuleville parannuksille. eteenpäin, meta on asetettu esittämään lisätietoja osoitteessa LAMACON ON HUHOKA 29 Meta-asento avoimessa ekosysteemissä on edelleen vivahtettua. Llaama 4-mallit eivät ole täysin avoimen lähdekoodin, mutta ne tarjoavat jonkin verran läpinäkyvyyttä ja joustavuutta, joka sijaitsee puhtaasti suljettujen järjestelmien ja yhteisövetojen mallien välillä. Niiden käyttöönotto miljardeiden päätepisteiden välillä-pilvisovellusliittymistä viestisovelluksiin-voisi muokata kehittäjien odotuksia mittakaavan, suorituskyvyn ja vastuullisen käytön ympärillä tulevina kuukausina. ekosysteemin integrointi ja tuleva etenemissuunnitelma