Edhe platformat meta nuk janë imune ndaj kostove mahnitëse të garës së AI. Kompania kaloi pjesë të vitit të kaluar duke iu afruar konkurrencës, përfshirë Microsoft, Amazon, dhe të tjerët, duke kërkuar ndihmë financiare për të trajnuar modelet e saj të gjuhëve të mëdha të flamurit, sipas katër individëve të informuar për diskutimet . Si një ëmbëlsues, Meta me sa duket diskutoi duke i dhënë mbështetësve të mundshëm financiar një fjalim në zhvillimin e veçorive të ardhshme të Llamës. Megjithatë, përpjekja zbulon barrën intensive financiare të përfshirë në ndërtimin e sistemeve kryesore të AI, duke bërë presion edhe tek kompanitë me xhepa të thella të meta dhe duke sinjalizuar aksionet e larta në AI gjeneruese. 4-Modelet e fundit të Meta
Kërkimi i Meta për partnerët e financimit hedh njoftimin e saj të fundit Llama 4 në një dritë të re. Kjo lëshim prezantoi Llama 4 Scout (109B Parametra Total, 17B aktiv) që synon përdorimin e vetëm-GPU me një dritare jashtëzakonisht të madhe 10 milion Token konteksti-i aftë për të përpunuar afërsisht 7.5 milion fjalë menjëherë. Të dy përdorin një arkitekturë të përzierjes së ekspertëve (MOE), një teknikë duke përdorur nën-rrjete të specializuara (‘ekspertë’) ku vetëm ato të nevojshme aktivizohen për detyrë, duke synuar efikasitetin më të madh gjatë funksionimit në krahasim me modelet e dendura, ku të gjithë parametrat janë përdorur gjithmonë. Mbështetja e këtyre është Llama 4 ende e pavendosur, një model parametrash me 2 trilion, i përdorur nga brenda për distilim (Mësimdhënia e modeleve më të vogla), i cili kërkonte trajnim në deri në 32,000 GPU. Teknika të përdorura meta të përdorura si saktësia FP8-një format i numrit me precizion më të ulët që shpejton llogaritjet-dhe përbërës të rinj arkitektonikë si Embeddings Pozicionale rrotulluese të ndërlidhura (Irope) për të trajtuar sekuencat e gjata në mënyrë efektive. Fuqia e madhe llogaritëse dhe përpjekja inxhinierike, duke shpjeguar drejtpërdrejt nevojën e mundshme për investime të përbashkëta. Ndërsa MOE ofron efikasitet të mundshëm të konkluzionit, kostoja e trajnimit në front mbetet një faktor domethënës. Kompania deklaroi publikisht qëllimin e saj ishte kundërshtimi i paragjykimeve të perceptuara politike në LLM, duke përmendur,”është e njohur se të gjitha LLM-të kryesore kanë pasur probleme me paragjykime-konkretisht, ata historikisht kanë mbështetur majtas kur bëhet fjalë për tema të debatuara politike dhe sociale… kjo është për shkak të llojeve të të dhënave të trajnimit në dispozicion në internet.”Krahas vendosjes së mjeteve të sigurisë si Llama Guard dhe Sistemi i Ekranimit të Kuq të Dhisë-një metodë e testimit kundërshtar për të gjetur dobësitë. Këto shtresa të rregullimit dhe sigurisë së mirë shtojnë zhvillim të mëtejshëm. Paditë aktive, duke përfshirë një që përfshin komedianin Sarah Silverman, pretendojnë se kompania e trajnuar modele Llama në të dhëna masive të librave të piratuar me burim nga bibliotekat si Libgen përmes ndarjes së skedarëve Bittorrent. Dokumentet e gjykatës thuhet se zbuluan kapjen e brendshme, me një inxhinier të cituar të thoshte,”Përrua nga një laptop i korporatës [në pronësi të meta] nuk ndjehet e drejtë.”Polemika të tilla mund të paraqesin një shofer të konsiderueshëm, nëse më pak të dukshëm, të shpenzimeve të përgjithshme të zhvillimit të AI. Modelet u integruan në veçoritë meta AI në të gjithë WhatsApp, Instagram dhe Facebook menjëherë pas fillimit. Ato u vunë gjithashtu në dispozicion për shkarkim dhe përmes partnerëve të cloud-përfshirë Amazon Sagemaker Jumpstart dhe Microsoft
Categories: IT Info