Les chercheurs de
Alibaba ont introduit Zerosearch, un cadre pionnier défini pour redéfinir la façon dont les grands modèles de langage (LLM) acquièrent des compétences de recherche d’informations. Ce nouveau système forme l’IA à simuler les interactions de moteur de recherche, apprenant efficacement à «Google lui-même» sans le prix élevé des appels API commerciaux en direct. Le développement, détaillé dans un document scientifique pourrait abaisser considérablement la barrière à l’entrée pour la création de systèmes AI avancés capables de récupérer des informations autonomes.
LLMS par un stupéfiant 88%, selon les chercheurs. Ceci est réalisé en évitant la nécessité de ce que le document de recherche décrit comme «des déploiements fréquents, impliquant potentiellement des centaines de milliers de demandes de recherche, ce qui entraîne des dépenses d’API substantielles et de limiter gravement l’évolutivité». src=”https://winbuzzer.com/wp-content/uploads/2023/09/alibaba-campusofofinalial-alibaba-scaled.jpg”>
Les implications sont de grande envergure, démocratisant potentiellement le développement de grandes plates-formes techniques. Alibaba Cloud a déclaré à l’approche:”Nous avons créé un système où les LLM peuvent développer des compétences de recherche grâce à la simulation, éliminant le besoin de recherches réelles à forte intensité de ressources.”Ils ont ajouté:”Cela rend l’IA avancé plus accessible aux organisations de toutes tailles.”
Alibaba a souligné son engagement à être plus large en rendant le code Zerosearch, les ensembles de données et les modèles pré-formés disponibles ouvertement via son Zerosearch Project Page , Faire une adoption plus large et des recherches plus approfondies.
Comment la méthode Zerosearch REIMAGRINGS AI FORMATION
Zerosearch ReimageNSECHS Formation de la méthode de l’empilement
Processus de réglage fin (SFT). Cette étape initiale transforme un LLM en un «module de récupération» spécialisé. Ce module est conçu pour générer à la fois des documents pertinents et, surtout, des documents «bruyants» ou non pertinents en réponse à une requête.
La clé clé de l’équipe Alibaba, comme mentionné dans leur article Arxiv, est que les LLM ont déjà «acquis des connaissances mondiales étendues pendant la pré-entraînement à grande échelle et sont capables de générer des documents pertinents étant donné une quête de recherche. Ils élaborent en outre que la «principale différence entre un réel moteur de recherche et un LLM de simulation réside dans le style textuel du contenu retourné». graduellement dégradé au fil du temps pour simuler des scénarios de récupération de plus en plus difficiles.”
Cette dégradation contrôlée de la qualité de l’information permet à l’IA de maîtriser d’abord la mécanique de recherche de base et les formats de sortie. Par la suite, il apprend à naviguer dans des paysages d’information plus complexes et ambigus. L’apprentissage du système est guidé par un mécanisme de récompense basé sur un score F1, en se concentrant sur la précision des réponses générées à partir des résultats de recherche simulés.
performances impressionnantes et réductions dramatiques des coûts
L’efficacité de Zerosearch n’est pas théorique. Des expériences complètes sur sept majeures Dessets de données de question de question de la question ont démontré ses capacités. Selon la couverture de VentureBeat, a 7 milliards de paramètre Zerosearch Module plus impressivement, une performance réalisée
Même impressivement, une plus grande performance version de paramètre 14-milliards aurait surperformé la recherche Google. La page du projet Zerosearch lui-même stipule que «le moteur de simulation 7B à réglage fin (SFT-7B) atteint des performances comparables à celles de la recherche Google, tandis que la variante 14B (SFT-14B) le dépasse même». Dans les tests de référence, le modèle 7B de Zerosearch a marqué 33,06 et son modèle 14B a obtenu 33,97, tous deux dépassant le score de Google de 32,47. Les avantages financiers sont une pierre angulaire de l’appel de Zerosearch. L’analyse des coûts de l’équipe Alibaba, détaillée dans son article Arxiv, illustre que la formation avec environ 64 000 requêtes de recherche en utilisant Recherche Google via Serpapi coûterait généralement environ 586,70 $. En revanche, l’utilisation d’une simulation de paramètre 14B LLM avec Zerosearch sur quatre GPU A100 ne coûte que 70,80 $, une réduction de 88% des dépenses liées à l’API. Cette rentabilité est compatible avec diverses familles de modèles, notamment QWEN-2.5 et LLAMA-3.2, avec des ressources disponibles sur HUGS Face . > démocratisant l’IA avancée et les perspectives futures
la capacité de Zerosearch à former de puissantes capacités de recherche sans dépendance directe sur les API de moteur de recherche externes présente un changement significatif. Il traite directement de deux obstacles majeurs dans le développement de LLMS de recherche: la «qualité de document non contrôlée» et les «coûts d’API prohibitifs» associés aux méthodes de formation RL traditionnelles qui utilisent des moteurs de recherche en direct, comme indiqué dans le résumé du projet. La version open source via GitHub est essentielle pour l’engagement et l’innovation communautaires plus larges. Bien que le cadre Zerosearch lui-même nécessite des ressources GPU pour la simulation LLM, une limitation reconnue par les chercheurs dans leur article-“Déployer la recherche simulée LLM nécessite l’accès aux serveurs de GPU. Bien que plus rentable que l’utilisation commerciale des API, cela introduit des coûts d’infrastructure supplémentaires”-la réduction globale de coût et de dépendance est substantielle. En outre, Zerosearch montre également une capacité unique à contrôler dynamiquement la qualité du contenu. Cette innovation arrive au milieu d’une poussée plus large de l’industrie pour améliorer l’efficacité et l’accessibilité de la LLM. Par exemple, la technique DFLOAT11 offre une compression sans perte pour les poids LLM, tandis que les NAMMS de Sakana AI se concentrent sur l’optimisation de la mémoire pour de longs contextes. Le modèle BAMBA hybride AI d’IBM est un autre exemple, ciblant les limites de vitesse architecturales des transformateurs. Zerosearch sculpte son créneau en s’attaquant spécifiquement au coût de la formation et aux aspects du contrôle des données de la construction de LLM compatibles de recherche, ce qui rend potentiellement les moteurs de recherche traditionnels moins indispensables pour cette facette de développement de l’IA.
