Laboratorul chinez de inteligență artificială DeepSeek a introdus DeepSeek V3, următorul său model de limbaj genopen-source. Dispunând de 671 de miliarde de parametri, modelul folosește așa-numita arhitectură Mixture-of-Experts (MoE) pentru a combina eficiența de calcul cu performanța ridicată.
Avansările tehnice ale lui DeepSeek V3 îl plasează printre cele mai puternice sisteme AI, rivalizând atât concurenți open-source, cum ar fi Llama 3.1 de la Meta, cât și modele proprietare, cum ar fi GPT-4o de la OpenAI.
Versiunea evidențiază un moment important în AI, demonstrând că open-source sistemele pot concura cu – și, în unele cazuri, pot depăși – alternative mai costisitoare, închise.
Legate:
Model chinezesc DeepSeek R1-Lite-Preview Vizează liderul OpenAI în raționamentul automatizat
Alibaba Qwen lansează modelul AI de raționament multimodal QVQ-72B-Preview
Arhitectură eficientă și inovatoare
Arhitectura DeepSeek V3 combină două concepte avansate pentru a obține eficiență și performanță excepționale: Atenția latentă cu mai multe capete (MLA) și Mixture-of-Experts (MoE).
MLA îmbunătățește capacitatea modelului de a procesa intrări complexe prin utilizarea mai multor capete de atenție pentru a se concentra asupra diferitelor aspecte ale datelor, extragând informații contextuale bogate și diverse.
MoE, pe de altă parte, activează doar un subset din totalul de 671 de miliarde de parametri ai modelului—aproximativ 37 de miliarde per sarcină—asigurând că resursele de calcul sunt utilizate eficient fără compromiterea preciziei. Împreună, aceste mecanisme îi permit lui DeepSeek V3 să ofere rezultate de înaltă calitate, reducând în același timp cerințele de infrastructură.
Rezolvând provocările comune ale sistemelor MoE, cum ar fi distribuția neuniformă a sarcinii de lucru între experți, DeepSeek a introdus o sarcină auxiliară fără pierderi. strategia de echilibrare. Această metodă dinamică alocă sarcini în cadrul rețelei de experți, menținând coerența și maximizând acuratețea sarcinilor.
Ilustrație a arhitecturii de bază a DeepSeek-V3 (Imagine: DeepSeek)
Pentru a îmbunătăți și mai mult eficiența, DeepSeek V3 folosește Multi-Token Prediction (MTP), o caracteristică care permite modelului să genereze mai multe jetoane simultan, accelerând semnificativ generarea de text.
Această caracteristică nu numai că îmbunătățește eficiența antrenamentului, ci și poziționează modelul pentru mai rapidă lumea reală. aplicații, consolidându-și poziția de lider în inovarea AI open-source.
Performanță de referință: un lider în matematică și codare
Rezultatele de referință ale DeepSeek V3 își prezintă capacitățile sale excepționale într-un spectru larg de sarcini, consolidându-și poziția de lider printre modelele open-source AI.
Procurând arhitectura sa avansată și setul extins de date de instruire, modelul a atins performanțe de top în matematică, codare și benchmark-uri multilingve, prezentând în același timp rezultate competitive în domenii dominate în mod tradițional de modele cu sursă închisă, cum ar fi GPT OpenAI.-4o și Sonetul Claude 3.5 al lui Anthropic.
🚀 Prezentarea DeepSeek-V3!
Cel mai mare salt înainte de până acum:
⚡ 60 de jetoane/secundă (de 3 ori mai rapid decât V2!)
💪 Capacități îmbunătățite
🛠 Compatibilitate API intactă
🌍 Complet deschis-sursă modele și lucrări🐋 1/n pic.twitter.com/p1dV9gJ2Sd
— DeepSeek (@deepseek_ai) Decembrie 26, 2024
Raționamentul matematic
Pe Testul Math-500, un punct de referință conceput pentru a evalua abilitățile de rezolvare a problemelor matematice, DeepSeek V3 a obținut un scor impresionant de 90,2. Acest scor îl plasează înaintea tuturor concurenților open-source, cu Qwen 2.5 cu 80 și Llama 3.1 cu 73.8. Chiar și GPT-4o, un model cu sursă închisă renumit pentru capacitățile sale generale, a obținut un scor ușor mai mic, la 74,6. Această performanță subliniază abilitățile avansate de raționament ale DeepSeek V3, în special în sarcinile intensive din punct de vedere computațional, unde precizia și logica sunt esențiale.
În plus, DeepSeek V3 a excelat în alte teste specifice matematicii, cum ar fi:
MGSM (Școala de matematică Matematică): a obținut 79,8, depășind Llama 3,1 (69,9) și Qwen 2,5 (76,2). CMath (matematică chineză): a obținut un scor de 90,7, depășind atât Llama 3.1 (77,3) cât și GPT-4o (84,5).
Aceste rezultate îi evidențiază puterea nu numai în raționamentul matematic bazat pe engleză, dar și în sarcini care necesită rezolvarea problemelor numerice specifice limbii.
Legate: DeepSeek AI Open Sources VL2 Series of Vision Language Models
Programare și codare
DeepSeek V3 a demonstrat că este remarcabil pricepere în codarea și rezolvarea problemelor de referință. Pe Codeforces, o platformă de programare competitivă, modelul a obținut un clasament de 51,6 percentile, reflectând capacitatea sa de a gestiona sarcini algoritmice complexe. Această performanță depășește semnificativ rivalii open-source precum Llama 3.1, care a obținut doar 25,3, și chiar provoacă Claude 3.5 Sonnet, care a înregistrat o percentilă mai mică. Succesul modelului a fost validat și mai mult de scorurile sale mari la benchmark-uri specifice codării:
HumanEval-Mul: A obținut 82,6, depășind Qwen 2,5 (77,3) și egalând GPT-4o (80,5). LiveCodeBench (Pass@1): a obținut 37,6, înaintea Llama 3.1 (30.1) și Claude 3.5 Sonnet (32.8). CRUXEval-I: a obținut un scor de 67,3, semnificativ mai bun decât Qwen 2.5 (59.1) și Llama 3.1 (58.5).
Aceste rezultate evidențiază adecvarea modelului pentru aplicații în dezvoltarea de software și medii de codare din lumea reală, unde rezolvarea eficientă a problemelor și generarea de cod sunt esențiale.
Sarcini multilingve și non-engleze
strong>
DeepSeek V3 se remarcă și în benchmark-uri multilingve, arătându-și capacitatea de a procesa și înțelege o gamă largă de limbi. La testul CMMLU (Chinese Multilingual Language Understanding), modelul a obținut un scor excepțional de 88,8, depășind Qwen 2,5 (89,5) și dominând Llama 3.1, care a rămas în urmă cu 73,7. În mod similar, pe C-Eval, un benchmark chinezesc de evaluare, DeepSeek V3 a obținut 90,1, cu mult înaintea Llama 3.1 (72,5).
În sarcinile multilingve non-engleză:
Evalue de referință specifice limbii engleze
În timp ce DeepSeek V3 excelează în matematică, codare și performanță multilingvă, rezultatele sale în anumite benchmark-uri specifice englezei reflectă loc de îmbunătățire. De exemplu, în benchmark-ul SimpleQA, care evaluează capacitatea unui model de a răspunde la întrebări simple concrete în limba engleză, DeepSeek V3 a obținut 24,9 , rămânând în urma GPT-4o, care a realizat 38,2. În mod similar, pe FRAMES, un punct de referință pentru înțelegerea structurilor narative complexe, GPT-4o a obținut 80,5, comparativ cu 73,3 de la DeepSeek.
În ciuda acestor lacune, performanța modelului rămâne extrem de competitivă, în special având în vedere natura sa open-source și eficiența costurilor. Ușoară subperformanță în sarcinile specifice englezei este compensată de dominația sa în matematică și benchmark-uri multilingve, domenii în care provoacă constant și adesea depășește rivalii cu surse închise.
Rezultatele benchmark-ului DeepSeek V3 nu demonstrează doar sofisticarea sa tehnică, ci și de asemenea, poziționați-l ca un model versatil și performant pentru o gamă largă de sarcini. Superioritatea sa în matematică, codificare și benchmark-uri multilingve îi evidențiază punctele forte, în timp ce rezultatele sale competitive în sarcinile în limba engleză arată capacitatea sa de a se confrunta cu lideri din industrie precum GPT-4o și Claude 3.5 Sonnet.
Prin oferirea acestor rezultate la o fracțiune din costul asociat sistemelor proprietare, DeepSeek V3 ilustrează potențialul AI open-source de a rivaliza – și în unele cazuri de a depăși – alternativele cu sursă închisă.
Legate: Apple plănuiește lansarea AI în China prin Tencent și ByteDance
Instruire rentabilă la Scale
Una dintre realizările remarcabile ale DeepSeek V3 este procesul de formare eficient din punct de vedere al costurilor. Modelul a fost antrenat pe un set de date de 14,8 trilioane de jetoane folosind GPU-uri Nvidia H800, cu un timp total de antrenament de 2,788 milioane de ore GPU. Costul total s-a ridicat la 5,576 milioane USD, o fracțiune din cei 500 milioane USD estimați necesari pentru a antrena Llama 3.1 de la Meta.
GPU-ul NVIDIA H800 este o versiune modificată a GPU-ului H100 conceput pentru piața chineză pentru a se conforma exportului. reglementări. Ambele GPU-uri se bazează pe arhitectura Hopper a NVIDIA și sunt utilizate în principal pentru AI și aplicații de calcul de înaltă performanță. Rata de transfer de date de la cip la cip a lui H800 este redusă la aproximativ jumătate din cea a lui H100
Procesul de antrenament a folosit metodologii avansate, inclusiv antrenament de precizie mixtă FP8. Această abordare reduce utilizarea memoriei prin codificarea datelor într-un format în virgulă mobilă de 8 biți, fără a sacrifica acuratețea. În plus, algoritmul DualPipe a optimizat paralelismul conductelor, asigurând o coordonare lină între clusterele GPU.
DeepSeek spune că pre-instruirea DeepSeek-V3 a necesitat doar 180.000 de ore GPU H800 per trilion de jetoane, folosind un cluster de 2.048 de GPU.
Accesibilitate și implementare
DeepSeek a făcut disponibil V3 sub o licență MIT, oferind dezvoltatorilor acces la model pentru ambele cercetare și aplicații comerciale. Întreprinderile pot integra modelul prin intermediul platformei DeepSeek Chat sau API, care are un preț competitiv la 0,27 USD per milion de jetoane de intrare și 1,10 USD per milion de jetoane de ieșire.
Versatilitatea modelului se extinde la compatibilitatea cu diverse platforme hardware, inclusiv GPU-uri AMD și NPU Huawei Ascend. Acest lucru asigură o accesibilitate largă pentru cercetători și organizații cu nevoi diverse de infrastructură.
DeepSeek și-a evidențiat accentul pe fiabilitate și performanță, declarând: „Pentru a asigura conformitatea cu SLO și un randament ridicat, folosim o strategie de redundanță dinamică pentru experți în timpul etapei de pre-umplere, în care experții cu sarcină mare sunt periodic duplicați și rearanjați. pentru performanță optimă.”
Implicații mai largi pentru ecosistemul AI
Versiunea DeepSeek V3 subliniază o tendință mai largă de democratizare a IA Prin furnizarea unui model de înaltă performanță la o fracțiune din costul asociat sistemelor proprietare, DeepSeek contestă dominația jucătorilor cu sursă închisă, precum OpenAI și Anthropic experimentare și inovare mai amplă în industrii.
Productul DeepSeek încorporează modele de verificare și reflecție din R1 model în DeepSeek-V3, îmbunătățind capabilitățile de raționament, menținând în același timp controlul asupra stilului și lungimii de ieșire.
Succesul DeepSeek V3 ridică întrebări cu privire la viitorul echilibru de putere în industria AI. Pe măsură ce modelele open source continuă să reducă decalajul cu sistemele proprietare, ele oferă organizațiilor alternative competitive care acordă prioritate accesibilității și eficienței costurilor.
