De onderzoekers van Alibaba hebben Zerosearch geïntroduceerd, een baanbrekende framework dat is ingesteld om opnieuw te definiëren hoe grote taalmodellen (LLMS) informatie over het ophalen van informatie verwerven. Dit nieuwe systeem traint AI om zoekmachine-interacties te simuleren en effectief te leren ‘Google zichzelf’ zonder het forse prijskaartje van live commerciële API-oproepen. De ontwikkeling, gedetailleerd in een Wetenschappelijk papier zou de barrière kunnen verlagen voor het maken van geavanceerde AI-systemen voor het maken van training voor het maken van training voor het maken van geavanceerde AI Systems die capable is voor autonome informatie. LLMS met een verbluffende 88 procent, volgens de onderzoekers. Dit wordt bereikt door de behoefte te omzeilen van wat het onderzoekspaper beschrijft als”frequente uitrols, die mogelijk honderdduizenden zoekverzoeken omvatten, die aanzienlijke API-kosten opleveren en de schaalbaarheid ernstig beperken.”
Buiten kostenbesparingen, biedt ontwikkelaars meer controle over de trainingsgegevenskwaliteit, een aanhoudende uitdaging wanneer ze worden gerelateerd op de vaak onvermijdelijke resultaten van Live-zoekopdrachten. src=”https://winbuzzer.com/wp-content/uploads/2023/09/alibaba-campus-official-alibaba-scaled.jpg”>
De implicaties zijn verstrekkende, potentieel democratisering van de ontwikkeling van verfijnde AI-assistent van het maken van geavanceerde AI-assistent. Alibaba Cloud verklaarde over de aanpak:”We hebben een systeem gecreëerd waarbij LLMS zoekvaardigheden kan ontwikkelen door middel van simulatie, waardoor de behoefte aan zoekopdrachten inzake resource-intensieve real-world wordt geëlimineerd.”Ze voegden eraan toe:”Dit maakt geavanceerde AI toegankelijker voor organisaties van alle omvang.”
Alibaba heeft zijn toewijding aan bredere adoptie onderstreept door de ZeroSearch-code, datasets en vooraf opgeleide modellen openlijk beschikbaar te maken via zijn ZerOSearch Project Pagina , Fostering bredere adoptie en verder onderzoek. Fine-tuning (SFT) proces. Deze eerste stap transformeert een LLM in een gespecialiseerde”Retrieval Module.”Deze module is ontworpen om zowel relevante documenten als, belangrijker nog,”lawaaierige”of irrelevante documenten te genereren in reactie op een vraag.
Het belangrijkste inzicht van het Alibaba-team, zoals vermeld in hun arxiv-paper, is dat LLMS al”uitgebreide uitgebreide wereldkennis heeft verworven tijdens grootschalige wereldkennis en is bekwaam om relevante documenten te genereren.”They further elaborate that the “primary difference between a real search engine and a simulation LLM lies in the textual style of the returned content.”
Following SFT, ZeroSearch employs a reinforcement learning phase guided by a ‘curriculum-based rollout strategy.’ The ZeroSearch project page explains that this strategy involves the research team introducing “a curriculum rollout mechanism during training, in which the quality of the generated documents is Geleidelijk afgebroken in de loop van de tijd om steeds uitdagende retrieval scenario’s te simuleren.”
Deze gecontroleerde afbraak van informatiekwaliteit stelt de AI in staat om eerst basiszoekmechanica en uitvoerindelingen te beheersen. Vervolgens leert het navigeren om complexere en dubbelzinnige informatie-landschappen te navigeren. Het leren van het systeem wordt geleid door een beloningsmechanisme op basis van een F1-score, gericht op de nauwkeurigheid van de antwoorden die zijn gegenereerd uit de gesimuleerde zoekresultaten.
indrukwekkende prestaties en dramatische kostenreducties
De effectiviteit van Zerosearch is niet alleen theoretisch. Uitgebreide experimenten over zeven major vraag-antwoordende datasets hebben de capaciteiten aangetoond. Volgens de dekking van VentureBeat, een 7-Billion parameter nuls noSearch Retrieval Module Gebeurde prestaties vergelijkbaar met Google Google href=”https://huggingface.co/sunhaonlp/searchsimulation_14b”target=”_ blank”> 14-billion parameterversie Naar verluidt presteerde het goed dan Google-zoekopdracht. In de pagina ZeroSearch Project zelf stelt dat”de verfijnde 7B-simulatie-engine (SFT-7B) prestaties behaalt die vergelijkbaar zijn met die van Google Search, terwijl de 14b-variant (SFT-14B) het zelfs overtreft.”In benchmarktests scoorde het 7B-model van ZerOsearch 33.06 en het 14B-model scoorde 33,97, beide overtreffen de score van Google van 32.47.
De financiële voordelen zijn een hoeksteen van het beroep van Zerosearch. De kostenanalyse van het Alibaba-team, gedetailleerd in hun Arxiv-artikel, illustreert dat training met ongeveer 64.000 zoekopdrachten met Google Search via SERPAPI meestal kostte ongeveer $ 586.70. Het gebruik van een 14B-parameter simulatie LLM met nullen met nullen op vier A100 GPU’s kost slechts $ 70,80-een vermindering van de API-gerelateerde kosten van 88%. Deze kostenefficiëntie is compatibel met verschillende modelfamilies, waaronder Qwen-2.5 en LLAMA-3.2, met bronnen beschikbaar op HUGING FACE . > Democratisering van geavanceerde AI en toekomstige Outlook
Het vermogen van ZerOsearch om krachtige zoekmogelijkheden te trainen zonder directe afhankelijkheid van externe zoekmachine API’s presenteert een belangrijke verschuiving. Het behandelt rechtstreeks twee grote hindernissen bij het ontwikkelen van zoekopdrachten LLMS: de”ongecontroleerde documentkwaliteit”en de”onbetaalbaar hoge API-kosten”geassocieerd met traditionele RL-trainingsmethoden die live zoekmachines gebruiken, zoals beschreven in de samenvatting van het project.
door het simuleren van de zoekomgeving, ontwikkelaars krijgen biner controle over de AI-informatie over de informatie over de informatie over de AI-informatie over de informatie over de AI-informatie over de informatie over de informatie, de AI-informatie over de informatie over de informatie over de informatie over de informatie over de informatie, de AI-informatie over de informatie over de informatie over de informatie over de informatie, de AI-informatie over de informatie over de informatie over de informatie over de informatie over de informatie, de AI-informatie over de informatie over de informatie over de informatie over de informatie over de informatie, de ai-inzicht op meer robuste en betrouwbare modellen. Open-source release via GitHub is de sleutel voor bredere gemeenschapsbetrokkenheid en innovatie. Terwijl het ZerOSearch-framework zelf GPU-bronnen vereist voor de Simulation LLM, een beperking die door de onderzoekers in hun paper wordt bevestigd-“De gesimuleerde zoekopdracht LLM vereist toegang tot GPU-servers.
is meer kosteneffectief dan commercieel API-gebruik, dit introduceert extra infrastructuurkosten”-de totale reductie in kosten en afhankelijkheid is aanzienlijk. Daarnaast vertoont ZerOSEARA ook een unieke mogelijkheid om de inhoudskwaliteit dynamisch te regelen.
Deze innovatie arriveert te midden van een bredere industriële push om LLM-efficiëntie en toegankelijkheid te verbeteren. De DFLOAT11-techniek biedt bijvoorbeeld verliesloze compressie voor LLM-gewichten, terwijl de NAMM’s van Sakana AI zich richten op het optimaliseren van geheugen voor lange contexten. Het Bamba-hybride AI-model van IBM is een ander voorbeeld, gericht op de architecturale snelheidslimieten van transformatoren. Zerosearch snijdt zijn niche door specifiek de trainingskosten en gegevensbeheersingsaspecten aan te pakken van het bouwen van zoekopdrachten LLM’s, waardoor traditionele zoekmachines mogelijk minder onmisbaar zijn voor dit facet van AI-ontwikkeling.