SemiAnalysis, o sursă respectată printre cercetătorii AI și profesioniștii din industrie, a publicat o analiză aprofundată care provoacă preocupările larg răspândite cu privire la încetinirea creșterii inteligenței artificiale.
Detaliat raport dezvăluie modul în care laboratoarele de inteligență artificială precum OpenAI și Google depășesc limitele trecute cu tehnici mai inteligente, inclusiv modele de raționament, date sintetice și metode inovatoare de antrenament. Potrivit SemiAnalysis, acest lucru evidențiază o schimbare în strategiile mai vechi de creștere a AI care s-au bazat doar pe seturi de antrenament mai mari, demonstrând că legile de scalare rămân robuste și transformatoare.
Ei spun că legile de scalare a AI rămân vibrante, determinate de descoperiri. în modele de raționament, date sintetice și metode de instruire mai inteligente și că aceste inovații remodelează cu succes viitorul AI, demonstrând că scalarea evoluează mai degrabă decât să încetinească.
Legile de scalare: Concepții greșite și realitate
Raportul își propune să răspundă valului din ce în ce mai mare de scepticism în legătură cu legile privind scalarea AI, alimentat de preocupările legate de stabilirea nivelului de referință performanța, deficitul de date și constrângerile hardware.
Criticii susțin că modelele mari de limbă (LLM) înregistrează randamente în scădere, iar industria rămâne fără modalități de a le instrui și de a le optimiza în mod eficient.
SemiAnalysis evidențiază modul în care laboratoarele de inteligență artificială de top abordează aceste provocări, îmbrățișând noi dimensiuni de scalare, cum ar fi metodele de formare bazate pe raționament, optimizarea inovatoare după antrenament și scalarea inferenței în timp. Potrivit raportului, aceste progrese împing capabilitățile AI cu mult peste limitele anterioare.
Legate: Noul modul IBM Fiber Optics poate accelera formarea modelelor AI cu 300%
Modele de raționament: extinderea frontierei
Un accent central al descoperirilor lor este creșterea modelelor de raționament precum modul o1 Pro de la OpenAI și noul mod aferent. Planul ChatGPT Pro pentru 200 USD/lună.
Construit pe cadrul „Strawberry”, o1 Pro Mode adoptă raționamentul în lanț de gândire, o tehnică care permite AI să abordeze problemele pas cu pas. Metodologia reflectă umanitatea logică, permițând modelului să exceleze la provocările cu mai mulți pași în matematică, codificare și sarcini complexe de raționament.
Raportul subliniază o1 Pro. Realizările Mode la puncte de referință precum Olimpiada Internațională de Matematică, unde a depășit predecesorul său, GPT-4o, rezolvând 83% din probleme, comparativ cu 13% din GPT-4o.
„Realitatea este că există mai multe dimensiuni pentru scalare dincolo de simpla concentrare pe pre-formare, care a fost singurul obiectiv al majorității prognosticilor cu fracțiune de normă. Lansarea OpenAI o1 a dovedit utilitatea și potențialul modelelor de raționament, deschizând o nouă dimensiune neexplorată pentru scalare”, notează SemiAnalysis. „Trecerea de la benchmark-uri defecte la altele mai provocatoare va permite măsurători mai bune de progres.”
Ca Modelele OpenAi o1 și o1 Pro, modelele Google Gemini 2.0 recent dezvăluite se bazează pe raționament și integrare multimodală pentru abordează scenarii complexe, din lumea reală.
Legate: Revoluție AI în meteorologie: modelul Google depășește sistemele actuale în 97% din scenarii
Date sintetice: o soluție pentru date Wall
SemiAnalysis subliniază rolul din ce în ce mai mare al datelor sintetice în depășirea unuia dintre cele mai mari obstacole ale AI: așa-numitul „perete de date”. Seturile de date de înaltă calitate sunt din ce în ce mai dificil de găsit, în special pentru nevoile de instruire specializate. Datele sintetice oferă o soluție scalabilă, permițând laboratoarelor să creeze seturi de date personalizate pentru sarcini specifice.
Conform autorilor, datele sintetice nu sunt. doar o soluție, ci mai degrabă o descoperire. Tehnici precum eșantionarea de respingere asigură că sunt utilizate numai cele mai relevante și precise ieșiri sintetice, reducând zgomotul și îmbunătățind eficiența antrenamentului.
Legate: Noile modele NVIDIA generează date sintetice pentru antrenament AI
Prin crearea internă a acestor seturi de date, laboratoarele precum OpenAI și Google pot ocoli constrângerile datelor din lumea reală, îmbunătățind în același timp performanța modelului pe nișă. domenii. SemiAnalysis aplaudă această abordare:
„Datele sintetice au deschis o dimensiune în care datele de înaltă calitate pot fi generate folosind o metodologie controlată, dincolo de scalabilă, pentru a ajusta modele pe orice subiect pentru care există dorința de a creați-l.
Folosirea intensă a datelor sintetice stimulează, de asemenea, un impuls către modele mai bune. De exemplu, OpenAI a avut GPT-4 înaintea oricui altcineva și l-ar putea folosi pentru a genera seturi de date sintetice mai bune decât alți furnizori de modele – până când alți furnizori au avut un model care să se potrivească. Unul dintre motivele principale pentru care multe modele din Open Source și de la laboratoarele chinezești l-au prins atât de repede a fost că au fost instruiți pe date sintetice din GPT-4.”
Legate: versiuni Microsoft Date sintetice pentru antrenamentul AI, arată câștiguri de performanță în cadrul benchmark-urilor
Optimizare după antrenament: modele mai inteligente, mai rapide
Raportul, de asemenea evidențiază importanța tot mai mare a optimizării după antrenament, în care modelele sunt ajustate pentru sarcini specifice după formarea lor inițială Tehnici precum reglare fină supravegheată (SFT) și învățare prin consolidare cu Feedback-ul AI (RLAIF) le permite laboratoarelor să alinieze modelele mai îndeaproape cu rezultatele dorite, cum ar fi raționamentul și acuratețea îmbunătățite.
RLAIF, în special, este în creștere, înlocuind feedback-ul tradițional etichetat uman cu AI.-evaluări generate, reducând semnificativ costurile și timpul. Această abordare iterativă creează o buclă de feedback în care modelele își îmbunătățesc continuu propriile procese de antrenament.
Conform raportului, optimizarea post-antrenament este un factor critic în a face modele de raționament precum o1 Pro Mode și Gemini 2.0 mai fiabile și mai fiabile. versatil.
Scalarea în timp de inferență: AI care gândește în timp real
Raportul indică, de asemenea, scalarea în timp de inferență ca o altă dezvoltare transformatoare. Această abordare alocă dinamic resursele de calcul în timpul rezolvării problemelor, permițând modelelor să revizuiască pașii anteriori, să exploreze soluții alternative și să-și rafineze rezultatele în timp real.
Tehnici precum Lansări Monte Carlo și căutările de auto-consistență permit modelelor să testeze mai multe căi de raționament simultan, îmbunătățind acuratețea si adaptabilitate. Deși această metodă necesită o infrastructură de calcul robustă, ea reprezintă un salt înainte semnificativ în a face sistemele AI mai inteligente și mai receptive.
Raportul SemiAnalysis vine cu un mesaj clar: scalarea AI nu încetinește, ci se transformă. Laboratoare precum OpenAI și Google conduc această evoluție, acordând prioritate metodelor de antrenament mai inteligente, generării de date sintetice și cadrelor de raționament avansate. Aceste inovații depășesc limitele tradiționale, punând terenul pentru o nouă eră a creșterii inteligenței artificiale.
