AMD a annoncé mardi que son nouveau matériel prenait en charge les nouveaux modèles “ GPT-OSS’d’Openai. Le support concerne ses derniers produits de consommation, comme les puces Ryzen AI et les cartes graphiques Radeon. Dans une clé d’abord, AMD dit que sa puce Ryzen AI Max + 395 peut exécuter l’énorme modèle de paramètres de 120 milliards sur un PC local.
Cela fait sortir l’IA de haut niveau du nuage et sur les ordinateurs domestiques. Le changement permet des applications AI plus rapides, plus privées et hors ligne. Les développeurs peuvent utiliser l’outil LM Studio pour exécuter les modèles aujourd’hui, ce qui rend l’IA puissante plus facile à accéder.
AMD prétend d’abord un consommateur pour les dispositions sur disque
dans un mouvement qui redéfinit sur-prouvoir AI, AMD réclame un monde pour son matériel de consommation . La société a annoncé que son processeur Ryzen AI Max + 395, lorsqu’il est configuré avec 128 Go de RAM, est la première puce de consommation capable de faire fonctionner localement le modèle massif de 117 milliards de paramètres “ GPT-ASS-120B`
Il s’agit d’une étape importante. Il déplace les charges de travail AI de classe Datacenter du cloud vers un bureau ou un ordinateur portable. Selon AMD, le système obtient une performance très utilisable de jusqu’à 30 jetons par seconde, faisant de l’IA locale complexe une réalité pratique pour les développeurs et les chercheurs.
[Contenu intégré]
Les exigences techniques sont raides mais révélatrices. Le modèle `GPT-ASS-120B» a besoin d’environ 61 Go de VRAM. Cela s’inscrit dans les 96 Go de la mémoire graphique dédiée disponible sur la plate-forme spécialisée Ryzen AI Max + 395, une capacité AMD a récemment mis en évidence .
Pour ceux qui travaillent avec le modèle `GPT-OSS-20B` plus petit mais toujours puissant, AMD pointe vers sa carte graphique Radeon 9070 XT 16 GB. La société met l’accent sur son excellent délai d’attente (TTFT), qui garantit des performances réactives pour les flux de travail agentiques qui reposent sur des sorties initiales rapides.
[Contenu intégré]
Cette activation matérielle fait partie d’un lancement massif et coordonné pour les premiers modèles ouverts d’Openai depuis 2019. Versé sous une licence APCACHE 2.0 “ GPT-FOSS’. Ils représentent un pivot stratégique pour OpenAI.
Les modèles sont construits sur une architecture de mélange de mixages efficace (MOE). Cette conception active uniquement une fraction des paramètres totaux pour une tâche donnée, réduisant considérablement le coût de calcul et les rendant viables pour l’exécution sur les appareils.
Un élément critique de ce nouvel écosystème est «Harmony», un format de chat obligatoire OpenAI exige que les modèles fonctionnent correctement. Ce modèle structure la sortie du modèle en canaux séparés pour le raisonnement, l’utilisation des outils et la réponse finale, donnant aux développeurs un contrôle plus transparent.