Meta Platforms a officiellement lancé Llama 3.3 70B, un nouvel ajout à sa famille de modèles de langage étendu (LLM) Llama, qui vise à équilibrer l’efficacité de calcul et les hautes performances.
Le modèle offre des fonctionnalités comparables à son prédécesseur, Llama 3.1 405B, mais y parvient tout en réduisant considérablement les coûts d’infrastructure. Ahmad Al-Dahle, vice-président de l’IA générative chez Meta, a souligné l’innovation dans un article sur X.
Présentation de Llama 3.3 – un nouveau modèle 70B qui offre les performances de notre modèle 405B. mais il est plus facile et plus rentable à gérer. En tirant parti des dernières avancées en matière de techniques post-formation, notamment l’optimisation des préférences en ligne, ce modèle améliore les performances de base à… pic.twitter.com/6oQ7b3Yuzc
— Ahmad Al-Dahle (@Ahmad_Al_Dahle) 6 décembre 2024
Conçu pour des tâches telles que le suivi d’instructions , traitement du langage naturel et raisonnement mathématique, Llama-3.3-70B-Instruct est maintenant disponible en téléchargement sur des plateformes comme Hugging Face et Site officiel de Meta.
Cependant, ses conditions de licence nécessitent une autorisation spéciale pour les plateformes comptant plus de 700 millions d’utilisateurs mensuels, ce qui soulève des questions sur son ouverture.
Le modèle intègre des techniques avancées telles que le réglage fin supervisé et l’apprentissage par renforcement à partir de la rétroaction humaine (RLHF). Ces méthodes affinent ses capacités, rendant Llama 3.3 adaptable à diverses applications commerciales et de recherche tout en maintenant la rentabilité.
Connexe : OpenAI lance un cadre de réglage fin de renforcement pour la personnalisation de l’IA
Équilibrer l’accessibilité et les principes de l’Open Source
Meta commercialise ses modèles Llama comme open source, mais les critiques affirment que les licences restrictives sapent cette affirmation. L’Open Source Initiative (OSI) a récemment introduit une définition de l’IA Open Source (OSAID) pour clarifier les normes, exigeant que les modèles soient entièrement accessibles et modifiables. Cependant, les modèles de lamas appartiennent à ce que certains experts décrivent comme des systèmes « à poids ouvert », offrant un accès à des paramètres entraînés mais limitant les applications commerciales.
Ali Farhadi de l’Allen Institute for AI a critiqué cette approche. Il a soutenu que Les systèmes d’IA devraient aller au-delà de la fourniture d’un accès partiel aux paramètres entraînés et offrir plutôt une transparence totale dans leurs processus de construction et de formation. Ce débat reflète des tensions plus larges dans l’industrie de l’IA sur l’équilibre entre innovation et accessibilité.
Mise à l’échelle de l’infrastructure. pour Lama 4
Alors que Llama 3.3 met l’accent sur l’efficacité, Meta se prépare à faire évoluer considérablement son infrastructure pour le prochain Llama 4. Lors de l’appel aux résultats du troisième trimestre de Meta, le PDG Mark Zuckerberg a révélé que la société formait Llama 4 sur un cluster de plus de 100 000 GPU Nvidia H100, ce qui représente un bond significatif par rapport aux 25 000 GPU utilisés pour Llama 3 et reflète. L’ambition de Meta de rester à l’avant-garde du développement de l’IA générative.
La consommation d’énergie du cluster GPU est remarquable, estimée à 150 mégawatts, soit cinq fois l’énergie requise pour El Capitan, le plus grand supercalculateur des États-Unis. Malgré les inquiétudes concernant la durabilité environnementale, Zuckerberg a souligné la nécessité de tels investissements, déclarant que Llama 4 nécessiterait dix fois la puissance de calcul de son prédécesseur.
Connexe : Meta utilise OpenAI GPT-4, car les modèles d’IA de Llama ne sont pas suffisants
L’échelle massive de l’infrastructure de Llama 4 met en évidence la double approche de Meta : créer des modèles très efficaces pour divers cas d’utilisation tout en investissant massivement dans l’IA générative à grande échelle. systèmes.
Cependant, Meta n’est pas le seul à développer considérablement son infrastructure de formation en IA. Le xAI d’Elon Musk double actuellement la capacité de Colossus, son supercalculateur basé à Memphis, pour atteindre plus d’un million de GPU Nvidia. Et Amazon a récemment annoncé ses projets pour son Ultracluster, construit à l’aide des puces personnalisées d’Amazon et destiné à devenir l’un des supercalculateurs d’IA les plus puissants au monde à ce jour.
Les modèles compacts stimulent l’expansion de l’IA Edge de Meta
En octobre, Meta a élargi sa série Llama 3.2 avec des modèles quantifiés optimisés pour l’informatique de pointe et les appareils mobiles. Les modèles de paramètres 1B et 3B plus petits ont été conçus pour fonctionner efficacement sur des appareils aux ressources limitées, grâce à des technologies telles que la Quantization-Aware Training ( QAT) et Adaptateurs de bas rang (LoRA).
Ces méthodes réduisent le les besoins en mémoire des modèles de plus de 40 % et accélèrent les vitesses de traitement jusqu’à quatre fois.
Les partenariats de Meta avec Qualcomm et MediaTek apportent ces fonctionnalités aux appareils Android, démontrant leurs applications pratiques. Les tests sur des appareils tels que le OnePlus 12 ont révélé des améliorations de la latence et une réduction de la consommation d’énergie, ce qui correspond à la demande croissante du secteur pour des solutions d’IA sur appareil respectueuses de la confidentialité.
La quantification, un processus qui réduit la précision des pondérations et des activations. dans les modèles d’IA, permet un déploiement efficace sur des appareils à faible consommation sans compromettre la qualité. Meta a également introduit SpinQuant, une méthode de quantification secondaire qui optimise le déploiement sans nécessiter de données de formation approfondies.
La double stratégie de Meta pour le leadership en IA
La sortie simultanée de Llama 3.3 et la préparation de Llama 4 reflètent la double stratégie de Meta consistant à améliorer l’évolutivité tout en répondant aux cas d’utilisation mobiles et périphériques. En investissant à la fois dans des clusters GPU massifs et dans des modèles compacts et efficaces, Meta se positionne comme un leader de l’innovation en matière d’IA générative.
Cependant, des défis tels que le contrôle réglementaire, les préoccupations environnementales et les débats sur les principes de l’open source continuer à façonner la trajectoire de l’entreprise.
