Hugging Face a lansat o inițiativă de a oferi publicului calculatoare GPU în valoare de 10 milioane de dolari, cu scopul de a atenua presiunea financiară asupra echipelor mai mici de dezvoltare AI. Programul, denumit ZeroGPU, a fost introdus de CEO-ul Clem Delangue pe X.
Abordarea disparităților de resurse
Delangue a subliniat decalajul de resurse dintre marile companii de tehnologie și comunitatea open-source, care adesea nu are infrastructura necesară pentru instruirea și implementarea modelelor AI. Această disparitate a contribuit la dominarea aplicațiilor precum ChatGPT. ZeroGPU își propune să reducă acest decalaj prin oferirea unei infrastructuri partajate pentru dezvoltatorii AI independenți și academici, pentru a rula demonstrații AI pe Hugging Face Spaces, reducându-le astfel povara financiară.
GPU-Poor no more: super încântat de lansează oficial ZeroGPU în versiune beta astăzi. Felicitări @victormustar și echipa pentru lansare!
În ultimele luni, comunitatea open-source AI a prosperat. Nu numai Meta, ci și Apple, NVIDIA, Bytedance, Snowflake, Databricks, Microsoft,… pic.twitter.com/6UzWvYhmpw
— clem 🤗 (@ClementDelangue) 16 mai 2024
Înființată în 2016, Hugging Face a devenit un furnizor de top de modele open-source AI optimizate pentru diverse platforme hardware, datorită parteneriatelor cu giganți din industrie precum Nvidia, Intel și AMD. Delangue consideră open-source ca viitorul inovației și adoptării AI, iar inițiativa ZeroGPU este un pas către democratizarea accesului la resursele esențiale.
Infrastructură GPU partajată
ZeroGPU va fi accesibil prin serviciul de găzduire a aplicațiilor Hugging Face și va utiliza acceleratoarele A100 mai vechi de la Nvidia în mod partajat. Spre deosebire de furnizorii tradiționali de cloud care necesită adesea angajamente pe termen lung pentru închirierea eficientă a GPU-urilor, abordarea Hugging Face permite o utilizare mai flexibilă, ceea ce este benefic pentru dezvoltatorii mai mici care nu pot prezice succesul modelelor lor în avans. Această infrastructură partajată este inițial limitată la inferențele AI, mai degrabă decât la antrenament, din cauza resurselor de calcul substanțiale necesare pentru antrenarea chiar și a modelelor mici.
Documentația de asistență indică faptul că funcțiile GPU sunt limitate la 120 de secunde, ceea ce este insuficient pentru scopuri de instruire. Un purtător de cuvânt al Hugging Face a confirmat că se pune accentul în primul rând pe inferență, deși există planuri de a explora alte aplicații în viitor.
Implementare tehnică
În viitor. Specificațiile tehnice ale modului în care Hugging Face reușește să partajeze eficient resursele GPU-ului rămân oarecum neclare. Delangue menționează că sistemul poate „ține și elibera eficient GPU-uri după cum este necesar”, dar mecanismele exacte nu sunt detaliate. Metodele potențiale includ reducerea timpului pentru a rula mai multe sarcini de lucru simultan, tehnologia GPU multi-instanță (MIG) Nvidia și Containere accelerate de GPU orchestrate de Kubernetes. Aceste tehnici au fost folosite de alți furnizori de cloud pentru a face calcularea GPU mai accesibilă.
GPU-urile A100 utilizate au o memorie de 40 GB capacitatea, care poate suporta sarcini de lucru substanțiale, dar limitate, ZeroGPU va fi disponibilă prin Hugging Face’s Spaces, o platformă de găzduire pentru publicarea de aplicații, care are peste 300.000 de demonstrații AI create până acum pe CPU sau GPU plătit.
<. strong>Finanțări și viziune
Angajamentul lui Hugging Face față de această inițiativă este posibil datorită stabilității sale financiare, deoarece compania este „profitabilă sau aproape profitabilă” și a strâns recent 235 de milioane de dolari în finanțare, evaluându-l la 4,5 miliarde de dolari. Delangue și-a exprimat îngrijorarea cu privire la capacitatea startup-urilor AI de a concura cu giganții tehnologici, care păstrează progrese semnificative în domeniul AI și au resurse de calcul substanțiale. Hugging Face își propune să facă tehnologiile AI avansate accesibile tuturor, nu doar giganților tehnologiei.
Impactul comunității
Accesul la calcul reprezintă o provocare semnificativă pentru construirea de mari dimensiuni. modele lingvistice, favorizând adesea companii precum OpenAI și Anthropic. Andrew Reed, inginer de învățare automată la Hugging Face, a creat o aplicație care vizualizează progresul LLM-urilor proprietare și open-source de-a lungul timpului, arătând diferența dintre cele două care se apropie din ce în ce mai mult. Peste 35.000 de variante ale modelului AI open-source Llama de la Meta au fost distribuite pe Hugging Face de la prima versiune a lui Meta, acum un an.
