Alibabas forskare har introducerat Zerosearch, ett banbrytande ramverk som är inställd för att omdefiniera hur stora språkmodeller (LLMS) förvärvar information om hämtning av information. Detta nya system utbildar AI för att simulera interaktioner för sökmotorer och lär sig effektivt att”Google själv”utan den rejäl prislappen för live kommersiella API-samtal. The development, detailed in a scientific paper could dramatically lower the barrier to entry for creating advanced AI systems capable of autonomous information retrieval.
The core innovation of ZeroSearch lies in its ability to reduce training expenses for Sökförstärkt LLMS med en häpnadsväckande 88 procent, enligt forskarna. Detta uppnås genom att undvika behovet av vad forskningsdokumentet beskriver som”frekventa utrullningar, som potentiellt involverar hundratusentals sökförfrågningar, som medför betydande API-utgifter och allvarligt begränsande skalbarhet.” src=”https://winbuzzer.com/wp-content/uploads/2023/09/Alibaba-Campus-Official-Alibaba-scaled.jpg”>
The implications are far-reaching, potentially democratizing the development of sophisticated AI assistants by making advanced training more accessible and less dependent on large tech platforms. Alibaba Cloud uppgav om tillvägagångssättet,”Vi har skapat ett system där LLMS kan utveckla sökfärdigheter genom simulering, vilket eliminerar behovet av resurskrävande verkliga sökningar.”De tillade,”Detta gör avancerad AI mer tillgängligt för organisationer i alla storlekar.”
alibaba har underströk sitt engagemang för bredare antagande genom att göra zerosearch-koden, datasätten och pre-utbildade modeller öppet via sin ZeroSearch project page, fostering broader adoption and further research.
How ZeroSearch Reimagines AI Search Training
ZeroSearch’s methodology begins with a lightweight supervised Finjusteringsprocess (SFT). Detta första steg förvandlar en LLM till en specialiserad”hämtningsmodul.”Denna modul är utformad för att generera både relevanta dokument och, viktigare,”bullriga”eller irrelevanta dokument som svar på en fråga.
Alibaba-teamets viktigaste insikt, som nämnts i deras arxiv-papper, är att LLM: er redan har förvärvat omfattande världskunskap under storskalig förprövning och är kapabla att generera relevanta dokument med tanke på en seam. De utarbetar vidare att den”primära skillnaden mellan en riktig sökmotor och en simulering LLM ligger i den textuella stilen för det returnerade innehållet.”
Efter SFT, använder ZeroSearch en förstärkningsinlärningsfas som styrs av en”Curriculum-baserad utrullningsstrategi.”Zerosearch-projektsidan förklarar att denna strategi involverar den forskningsgrupp Dokumenten försämras gradvis över tid för att simulera allt mer utmanande återvinningsscenarier.”
Denna kontrollerade nedbrytning av informationskvalitet gör det möjligt för AI att först behärska grundläggande sökmekanik och utgångsformat. Därefter lär den sig att navigera i mer komplexa och tvetydiga informationslandskap. Systemets lärande styrs av en belöningsmekanism baserad på en F1-poäng, med fokus på noggrannheten för de svar som genereras från de simulerade sökresultaten.
Imponerande prestanda och dramatiska kostnadsminskningar
Effektiviteten av Zerosearch är inte bara teoretiska. Omfattande experiment över sju major Frågeformande datasätt har demonstrerat dess kapacitet. Enligt VentureBeats täckning, a 7-miljarder parameter Zerosearch Retrieval Module uppnådde prestanda jämförbar för Google-sökning. href=”https://huggingface.co/sunhaonlp/searchsimulation_14b”target=”_ blank”> 14-miljarder parameterversion enligt uppgift överträffade Google-sökning. Själva Zerosearch-projektets sida säger att”den finjusterade 7B-simuleringsmotorn (SFT-7B) uppnår prestanda som är jämförbar med den för Google-sökningen, medan 14B-varianten (SFT-14B) till och med överträffar den.”I benchmark-test gjorde Zerosearchs 7B-modell 33,06 och dess 14B-modell fick 33,97, båda överträffade Googles poäng på 32,47.
De finansiella fördelarna är en hörnsten i ZeroSearchs överklagande. Alibaba-teamets kostnadsanalys, detaljerad i deras ARXIV-papper, illustrerar att utbildning med cirka 64 000 sökfrågor med Google-sökning via Serpapi skulle vanligtvis kosta cirka $ 586,70. Däremot kostar en 14B-parameter-simulering LLM med Zerosearch på fyra A100 GPU: er endast $ 70,80-en 88% minskning av API-relaterade utgifter. Denna kostnadseffektivitet är kompatibel med olika modellfamiljer, inklusive Qwen-2.5 och Llama-3.2, med resurser tillgängliga på Demokratisera avancerade AI och framtida utsikter
Zerosearchs förmåga att utbilda potent sökfunktioner utan direkt beroende av externa sökmotor API: er utgör en betydande förändring. Den behandlar direkt två stora hinder för att utveckla sökförstärkta LLM: den”okontrollerade dokumentkvaliteten”och”oöverkomligt höga API-kostnader”som är förknippade med traditionella RL-träningsmetoder som använder live-sökmotorer, som beskrivs i projektets abstrakt. genom att simulera sökmiljön, utvecklare får finare kontroll över övergången, det är potentiellt att robusta. Open-Source-release via GitHub är nyckeln för bredare samhällsengagemang och innovation. Medan Zerosearch-ramverket i sig kräver GPU-resurser för Simulation LLM, kräver en begränsning som erkänns av forskarna i deras papper-“Distribuera den simulerade sökningen LLM kräver tillgång till GPU-servrar. medan mer kostnadseffektivt än kommersiellt API-användning, detta introducerar ytterligare infrastrukturskostnader”-den totala reduktionen i kostnad och beroende och beroende. Dessutom visar ZeroSearch också en unik förmåga att dynamiskt kontrollera innehållskvaliteten. Denna innovation anländer mitt i en bredare branschtryck för att förbättra LLM-effektiviteten och tillgängligheten. Till exempel erbjuder DFLoat11-tekniken förlustfri komprimering för LLM-vikter, medan Sakana AI: s NAMMS fokuserar på att optimera minnet för långa sammanhang. IBM: s Bamba Hybrid AI-modell är ett annat exempel som riktar sig till de arkitektoniska hastighetsgränserna för transformatorer. Zerosearch snider sin nisch genom att specifikt hantera träningskostnaderna och datakontrollaspekterna av att bygga sökkaptabelt LLM, vilket potentiellt gör traditionella sökmotorer mindre nödvändiga för denna aspekt av AI-utvecklingen.
