Meta Platforms a lansat oficial Llama 3.3 70B, o nouă completare la familia sa de modele de limbaj mari (LLM) Llama, care își propune să echilibreze eficiența de calcul cu performanța ridicată.
Modelul oferă funcționalități comparabile cu predecesorul său, Llama 3.1 405B, dar reușește acest lucru, reducând în același timp semnificativ costurile de infrastructură. Ahmad Al-Dahle, Vicepreședintele Meta Generative AI, a evidențiat inovația într-o postare despre X.
Vă prezentăm Llama 3.3 – un nou model 70B care oferă performanța modelului nostru 405B dar este mai ușor și mai rentabil de rulat. Prin valorificarea celor mai recente progrese în tehnicile post-antrenament, inclusiv optimizarea preferințelor online, acest model îmbunătățește performanța de bază la… pic.twitter.com/6oQ7b3Yuzc
— Ahmad Al-Dahle (@Ahmad_Al_Dahle) 6 decembrie 2024
Conceput pentru sarcini precum următoarele instrucțiuni , procesarea limbajului natural și raționamentul matematic, Llama-3.3-70B-Instruct este acum disponibil pentru descărcare pe platforme precum Hugging Face și Site-ul oficial al Meta.
Cu toate acestea, termenii săi de licență necesită o permisiune specială pentru platformele cu peste 700 de milioane de utilizatori lunari, ridicând întrebări cu privire la deschiderea acestuia.
Modelul încorporează tehnici avansate, cum ar fi reglarea fină supravegheată și învățarea prin consolidare din feedbackul uman (RLHF). Aceste metode își perfecționează capacitățile, făcând ca Llama 3.3 să fie adaptabil la diverse aplicații comerciale și de cercetare, menținând în același timp eficiența costurilor.
Legate: OpenAI lansează un cadru de reglare fină a armăturilor pentru personalizarea AI
Echilibrarea accesibilității și principiilor open-source
Meta își comercializează modelele Llama ca open-source, dar criticii susțin că licențele restrictive subminează această afirmație. Open Source Initiative (OSI) a introdus recent o Definiție Open Source AI (OSAID) pentru a clarifica standardele, solicitând ca modelele să fie complet accesibile și modificabile. Cu toate acestea, modelele Llama se încadrează în ceea ce unii experți descriu ca sisteme „deschise”, oferind acces la parametri antrenați, dar limitând aplicațiile comerciale.
Ali Farhadi de la Institutul Allen pentru IA a criticat abordarea. El a susținut că Sistemele de inteligență artificială ar trebui să depășească furnizarea de acces parțial la parametrii instruiți și, în schimb, să ofere o transparență deplină în procesele lor de construcție și formare. inovație cu accesibilitate.
Scalarea infrastructurii pentru Llama 4
În timp ce Llama 3.3 pune accent pe eficiență, Meta se pregătește să-și extindă în mod dramatic infrastructura pentru viitorul Llama 4. În timpul apelului Meta privind veniturile din trimestrul III, CEO-ul Mark Zuckerberg a dezvăluit că compania antrenează Llama 4 pe un grup de peste 100.000 de GPU-uri Nvidia H100 Acesta marchează un salt semnificativ față de cele 25.000 de GPU utilizate pentru Llama 3 și reflectă ambiția Meta de a rămâne în fruntea dezvoltării AI generative.
Consumul de energie al clusterului GPU este notabil, estimat la 150. megawați — de cinci ori mai mult decât energia necesară pentru El Capitan, cel mai mare supercomputer din Statele Unite ale Americii. În ciuda preocupărilor legate de sustenabilitatea mediului, Zuckerberg a subliniat necesitatea unor astfel de investiții, afirmând că Llama 4 ar necesita o putere de calcul de zece ori mai mare decât predecesorul său.
Legate: Meta folosește OpenAI. GPT-4 ca modele proprii Llama AI nu sunt suficient de bune
Scala masivă a infrastructurii lui Llama 4 evidențiază dualitatea lui Meta abordare: crearea de modele extrem de eficiente pentru diverse cazuri de utilizare, investind în același timp masiv în sisteme AI generative la scară largă.
Cu toate acestea, Meta nu este singura, își extinde puternic infrastructura de instruire AI. xAI-ul lui Elon Musk dublează în prezent capacitatea Colossus, supercomputerul său bazat pe Memphis, la peste 1 milion de GPU-uri Nvidia. Și Amazon și-a anunțat recent planurile pentru Ultracluster, construit folosind cipurile personalizate Amazon și care urmează să devină unul dintre cele mai puternice supercomputere AI din lume de până acum
Modelele compacte conduce la expansiunea AI Edge de la Meta
În octombrie, Meta și-a extins seria Llama 3.2 cu modele cuantificate optimizate pentru edge computing și dispozitive mobile. Modelele mai mici cu parametri 1B și 3B au fost concepute pentru a funcționa eficient pe dispozitive cu resurse limitate, datorită tehnologiilor precum Quantization-Aware Training ( QAT) și Adaptoare de rang scăzut (LoRA).
Aceste metode reduc cerințele de memorie ale modelelor cu peste 40% și accelerează vitezele de procesare de până la patru ori.
Parteneriatele Meta cu Qualcomm și MediaTek le aduc capabilități pentru dispozitivele Android, demonstrând aplicațiile lor practice. Testarea pe dispozitive precum OnePlus 12 a scos la iveală îmbunătățiri ale latenței și un consum redus de energie, aliniindu-se cu cererea tot mai mare a industriei de soluții AI pe dispozitiv, conștiente de confidențialitate.
Cuantificare, un proces care reduce precizia greutăților și activărilor. în modelele AI, permite implementarea eficientă pe dispozitive cu consum redus, fără a compromite calitatea. Meta a introdus, de asemenea, SpinQuant, o metodă de cuantificare secundară care optimizează implementarea fără a necesita date extinse de antrenament.
Strategia duală Meta pentru leadership AI
Lansarea simultană a Llama 3.3 și pregătirea pentru Llama 4 reflectă strategia duală a Meta de îmbunătățire a scalabilității, oferind în același timp cazuri de utilizare mobile și edge. Investind atât în clustere masive de GPU, cât și în modele compacte și eficiente, Meta se poziționează ca lider în inovarea generativă AI.
Cu toate acestea, provocări precum controlul reglementărilor, preocupările de mediu și dezbaterile asupra principiilor open-source continuă să modeleze traiectoria companiei.
