Microsoft a oferit publicului Phi-4 cu sursă deschisă, modelul său de limbaj compact, lansând toate ponderile sale pe Hugging Face sub o licență MIT.
Phi-4, introdus pentru prima dată în decembrie 2024 prin Platforma Microsoft Azure AI Foundry, a fost inițial disponibilă doar cercetătorilor sub o licență controlată. Odată cu lansarea open-source, Microsoft oferă cercetătorilor și dezvoltatorilor din întreaga lume instrumentele de personalizare, implementare și comercializare a modelului compact, dar de înaltă performanță.
Phi-4: Un model compact cu dimensiuni mari. Rezultate
Phi-4 reprezintă o abatere de la dezvoltarea tradițională a inteligenței artificiale, care a prioritizat adesea scala ca măsură principală pentru performanță. La doar 14 miliarde de parametri, Phi-4 oferă rezultate care rivalizează și chiar depășesc omologii mai mari, cum ar fi Gemini Pro 1.5 de la Google și GPT-4o de la OpenAI.
Sursa: Microsoft
În testele de referință recente, Phi-4 a obținut un impresionant 91,8 la Competiția Americană de Matematică (AMC 12), depășind scorul Gemini Pro 1.5 de 89,8 și cel al GPT-4o de 77,9.
Microsoft a prezentat capabilitățile de raționament matematic ale Phi-4 printr-o problemă de combinatorie, în care modelul a calculat cu precizie 431 de permutări distincte pentru o cursă ipotetică care implică cinci melci.
Phi-4 depășește modelele mult mai mari, inclusiv Gemini Pro 1.5, în probleme de concurență la matematică (Sursa: Microsoft)
Acest nivel de precizie îi evidențiază potențialul pentru domenii care necesită rigoare logică și matematică, cum ar fi finanțele, inginerie și cercetarea științifică.
Microsoft și-a explicat obiectivele pentru Phi-4 în documentația sa oficială: „Phi-4 continuă să depășească granița dimensiunii versus calitate ,” un sentiment reluat de cercetătorii care i-au comparat performanța cu modelele cu un număr de cinci ori mai mare de parametri.
Metodologie de antrenament și sintetice. Date
Baza succesului Phi-4 constă în abordarea sa de formare Microsoft a folosit seturi de date sintetice care includ conținut în stil manual, punând accent pe raționamentul matematic, programarea și logica de bun simț. Aceste seturi de date, în valoare totală de 9,8 trilioane de jetoane, au fost completate cu documente publice organizate, texte academice și date multilingve.
„În loc să servească drept substitut ieftin pentru datele organice, datele sintetice oferă avantaje directe”, a remarcat Microsoft. în raportul său tehnic, evidențiind controlul și adaptabilitatea pe care le oferă în timpul antrenamentului de model. Această abordare a redus, de asemenea, dependența de conținutul web, adesea criticat pentru calitate inconsecvențe.
Pentru a îmbunătăți raționamentul și alinierea modelului, Microsoft a aplicat tehnici avansate de post-formare, cum ar fi reglarea fină supravegheată și optimizarea directă a preferințelor-ieșiri de calitate, sporind și mai mult acuratețea aplicațiilor specifice domeniului.
Open-Source Disponibilitate
Decizia de a lansa Phi-4 ca sursă deschisă reflectă strategia mai largă a Microsoft de a democratiza instrumentele AI. Dezvoltatorii pot accesa acum modelul pe Hugging Face, unde greutățile sale complete sunt disponibile sub o licență MIT. Shital Shah, inginer principal la Microsoft, a anunțat lansarea pe X (fostul Twitter), scriind: „Mulți oameni ne ceruseră eliberarea greutății… Ei bine, nu mai așteptați.”
Am fost complet uimiți de răspunsul la lansarea phi-4. Mulți oameni ne-au cerut lansarea greutăților HuggingFace😬.
Ei bine, nu mai așteptăm, lansăm astăzi modelul oficial phi-4 pe HuggingFace!
Cu licență MIT!.co/rcugWBPU4r”>pic.twitter.com/rcugWBPU4r
— Shital Shah (@sytelus) 8 ianuarie 2025
Versiunea open-source permite dezvoltatorilor să personalizeze Phi-4 pentru aplicații specifice fără costul general de calcul asociat de obicei cu modele mai mari. Arhitectura doar cu decodor, o variantă a modelului de transformator, minimizează cerințele de resurse, făcându-l accesibil chiar și organizațiilor cu infrastructură limitată.
Considerații etice și impact în industrie
Lansarea de către Microsoft a Phi-4 evidențiază angajamentul său față de implementarea responsabilă a AI. Platforma Azure AI Foundry, care a găzduit inițial Phi-4, încorporează măsuri de siguranță, cum ar fi filtrarea conținutului și testarea adversă. Aceste măsuri sunt concepute pentru a atenua riscuri precum părtinirea, dezinformarea și generarea de conținut dăunător.
Prin lansarea Phi-4 sub o licență open-source, Microsoft răspunde, de asemenea, cererii tot mai mari de transparență în dezvoltarea AI. Mișcarea se aliniază cu tendințele din industrie observate în versiuni precum Llama 3.2 de la Meta și seria Gemma de la Google, deși performanța remarcabilă a lui Phi-4 în benchmark-uri stabilește un nou standard pentru modelele compacte.
Phi-4 contestă ipoteza că modelele mai mari sunt în mod inerent mai bune. Designul său compact nu numai că reduce costurile de calcul și energie, dar și extinde accesul la capabilități avansate de IA. Această eficiență este deosebit de valoroasă pentru organizațiile mijlocii și cercetătorii cărora le lipsesc resursele necesare pentru a implementa modele masive.
Pe măsură ce AI continuă să evolueze, Phi-4 oferă o privire asupra unui viitor în care modelele mai mici și mai inteligente se pot întâlni. solicitările sarcinilor specializate fără a compromite performanța.
