Microsoft sta apparentemente sviluppando nuovi strumenti software per eseguire il software AI di NVIDIA su chip AMD meno costosi, secondo i commenti di un presunto dipendente emersi questa settimana.
Ridurre drasticamente il costo elevato dei carichi di lavoro AI, noto anche come inferenza, sfiderebbe direttamente il dominio di lunga data di NVIDIA.
Secondo quanto riferito, tali strumenti funzionerebbero convertendo il codice dalla piattaforma CUDA proprietaria di NVIDIA al formato ROCm open source di AMD. Se fosse vera, la strategia rispecchierebbe una tendenza più ampia del settore, poiché i giganti della tecnologia come Oracle e OpenAI aumentano la loro dipendenza dall’hardware AMD per favorire la concorrenza.
Un’arma segreta contro il dominio dell’intelligenza artificiale di NVIDIA?
Le affermazioni sul nuovo toolkit provengono da una trascrizione che circola online che, sebbene non confermata da Microsoft, sembra provenire dal Third Bridge Forum, una rispettabile rete di esperti che fornisce interviste protette da paywall a istituzioni clienti.
In esso, un individuo anonimo considerato un esperto di Microsoft sostiene che l’azienda sta lavorando attivamente per colmare il divario tra il software proprietario di NVIDIA e l’hardware dei suoi concorrenti.
Nella trascrizione condivisa tramite screenshot su X, l’oratore ha affermato l’esistenza di progetti interni progettati per affrontare questa sfida a testa alta.
“Negli ultimi tre o quattro mesi c’è stato molto più interesse nel risparmiare sui costi con l’inferenza. Abbiamo creato alcuni toolkit per aiutare a convertire modelli CUDA in ROCm in modo da poterli utilizzare su un AMD, come un 300X.
Abbiamo ricevuto molte domande su quale sia il nostro percorso con AMD, il 400X e il 450X. Stiamo lavorando attivamente con AMD su che per vedere come massimizzarlo, direi che la sfida più grande che stiamo affrontando in questo momento, in particolare con i server più recenti, è semplicemente capire la densità del rack e ottenere il raffreddamento a liquido sul rack.”
Post del forum Third Bridge (Fonte: @Jukanlosreve/X)
Un toolkit di questo tipo fungerebbe effettivamente da livello di traduzione, consentendo ai modelli di intelligenza artificiale originariamente creati per l’ecosistema NVIDIA di funzionare sull’hardware AMD senza richiedere una riscrittura completa e costosa.
Per anni, la piattaforma CUDA di NVIDIA è stata allo stesso tempo uno strumento potente e una gabbia dorata per gli sviluppatori di intelligenza artificiale. Essendo una piattaforma di elaborazione parallela le cui robuste librerie ne hanno fatto lo standard del settore, CUDA ha creato un potente”fossato”che rende difficile per i concorrenti guadagnare quote di mercato.
Se confermato, lo sforzo di Microsoft rappresenterebbe un assalto diretto a quel fossato. Sebbene ROCm di AMD sia un’alternativa open source efficace, un percorso di conversione affidabile consentirebbe ai clienti di Microsoft Azure di ottenere i vantaggi in termini di costi dell’hardware AMD senza abbandonare il familiare ambiente CUDA.
Sono già disponibili opzioni per eseguire CUDA con chip AMD, come la toolchain GPGPU di SCALE. Tuttavia, la perdita di efficienza dovuta alla conversione continua a essere un ostacolo continuo che Microsoft sembra voler affrontare.
Un gioco di risparmio sui costi per il boom dell’inferenza dell’intelligenza artificiale
Stimati dalle spese in aumento delle operazioni di intelligenza artificiale, i giganti della tecnologia stanno ora perseguendo in modo aggressivo misure di risparmio sui costi. L’oratore nella trascrizione ha sottolineato che la motivazione principale dietro il presunto toolkit è finanziaria, soprattutto per la fase di inferenza dell’intelligenza artificiale, in cui i modelli addestrati vengono messi al lavoro.
Poiché i servizi di intelligenza artificiale si espandono per milioni di utenti, l’inferenza rappresenta una parte enorme dei costi operativi.
Un crescente interesse per l’efficienza dei costi rende le GPU di AMD dal prezzo più competitivo un’alternativa interessante all’hardware premium di NVIDIA, a condizione che la barriera del software possa essere superata.
Oltre i costi di software e chip e i vincoli fisici dei data center stanno diventando un collo di bottiglia critico. La fonte nella trascrizione sottolinea che la sfida fondamentale non è più solo garantire energia elettrica sufficiente, ma gestirla in modo efficace.
L’attenzione alla densità di potenza e al raffreddamento a liquido evidenzia le immense richieste di alloggiare acceleratori IA di prossima generazione.
La spinta a livello di settore per rompere la morsa del CUDA
La presunta strategia di Microsoft si allineerebbe con una spinta significativa a livello di settore per coltivare una fornitura di hardware IA più competitiva. catena. Per NVIDIA, la cui leadership di mercato si basa tanto sul software quanto sul silicio, questa tendenza rappresenta una minaccia a lungo termine.
Oracle, un attore chiave nell’infrastruttura cloud, ha recentemente annunciato un’importante partnership per l’implementazione di 50.000 chip AI AMD. Karan Batta, vicepresidente senior di Oracle Cloud, ha sottolineato esplicitamente il valore di questa alternativa per carichi di lavoro sensibili ai costi.
OpenAI, il principale laboratorio di ricerca sull’intelligenza artificiale, sta inoltre compiendo passi decisivi per diversificare le proprie basi di elaborazione. Ha stretto un accordo definitivo multimiliardario con AMD per implementare 6 gigawatt delle sue GPU.
La sua partnership include un mandato unico per un massimo di 160 milioni di azioni, che potrebbe dare a OpenAI una partecipazione azionaria di circa il 10% nel produttore di chip, allineando profondamente i loro obiettivi.
Questa tendenza di”coopetizione”si estende anche ai rivali storici. Intel è in trattative per produrre chip per AMD, sottolineando l’importanza strategica di una catena di fornitura di semiconduttori diversificata.
Se le affermazioni sul toolkit di Microsoft sono accurate, l’azienda non sta solo lavorando per risolvere un problema di costi interni, ma sta contribuendo a un’evoluzione più ampia del mercato. Uno strumento di conversione di successo potrebbe segnalare un futuro di sviluppo dell’IA indipendente dall’hardware, liberando gli sviluppatori dal vincolo del fornitore.
Un simile cambiamento potenziale segnerebbe una nuova fase di maturazione per l’intero settore dell’intelligenza artificiale, passando da una frenetica conquista del territorio informatico a un ecosistema più strategico e multipolare.
