Alibabas forskere har introdusert Zerosearch, et banebrytende rammeverk som er satt til å omdefinere hvordan store språkmodeller (LLMS) tilegner seg informasjonsinnhentingsevner. Dette nye systemet trener AI for å simulere interaksjoner mellom søkemotorer, og effektivt lære å ‘Google seg selv’ uten den heftige prislappen til live kommersielle API-samtaler. Utviklingen, detaljert i en Scientific Paper kunne dramatisk redusere barrieren for å lage avansert AI-systemer som er i stand til å hente til å redusere den som kan redusere grovtiltaket for å skape avanserte Søkeforbedrede LLM-er med svimlende 88 prosent, ifølge forskerne. Dette oppnås ved å sidestille behovet for det forskningsoppgaven beskriver som”hyppige utrullinger, og potensielt involverer hundretusenvis av søkeforespørsler, som pådrar seg betydelige API-utgifter og begrenser skalerbarheten alvorlig.” Beyond Cost Savings, Zerosearch tilbyr utviklerne større kontroll over treningsdata-kvaliteten. motorer.
Alibaba har understreket sitt engasjement for bredere adopsjon ved å gjøre Zerosearch-koden, datasettene og pre-trenet blank”opent gjennom sin Zerosearch Project Page , Foster bredere adopsjon og videre forskning.
Alibaba-teamets viktigste innsikt, som nevnt i deres Arxiv-papir, er at LLM-er allerede har”anskaffet omfattende verdenskunnskap under storskala prate og er i stand til å generere relevant dokumenter gitt et søk. De utdyper videre at den”primære forskjellen mellom en ekte søkemotor og en simulering LLM ligger i den tekstlige stilen til det returnerte innholdet.”
Etter SFT bruker Zerosearch en forsterknings læringsfase styrt av en”Curriculum-baserte team introduksjon.”Gradvis blir nedbrutt over tid for å simulere stadig mer utfordrende hentingsscenarier.”
Denne kontrollerte nedbrytningen av informasjonskvalitet gjør at AI først master Basic Search Mechanics og Output-formater. Deretter lærer den å navigere i mer komplekse og tvetydige informasjonslandskap. Systemets læring styres av en belønningsmekanisme basert på en F1-poengsum, med fokus på nøyaktigheten av svarene som genereres fra de simulerte søkeresultatene.
Imponerende ytelse og dramatiske kostnadsreduksjoner
Effektiviteten til Zerosearch er ikke bare teoretisk. Omfattende eksperimenter over syv store spørsmål-svarende datasett har demonstrert sine kapasiteter. I følge VentureBeats dekning, a 7 milliarder parameter ZeroSearch Retrieval-modul oppnådd ytelse sammenlignet med Google-søk. href=”https://huggingface.co/sunhaonlp/searchsimulation_14b”Target=”_ blank”> 14 milliarder parameterversjon angivelig overgår Google Search. Selve Zerosearch Project-siden sier at”Fine-Tuned 7B Simulation Engine (SFT-7B) oppnår ytelse som kan sammenlignes med Google-søk, mens 14B-varianten (SFT-14B) til og med overgår den.”I benchmark-tester scoret Zerosearchs 7B-modell 33.06 og 14B-modellen scoret 33.97, begge overgikk Googles poengsum på 32.47.
De økonomiske fordelene er en hjørnestein i Zerosearchs appell. Alibaba-teamets kostnadsanalyse, detaljert i Arxiv-papiret, illustrerer at trening med omtrent 64 000 søkespørsmål ved bruk av Google-søk via serpapi ville typisk koste rundt $ 586.70. I motsetning til dette, ved bruk av en 14B-parameter-simulering LLM med Zerosearch på fire A100 GPU-er koster bare $ 70,80-en 88% reduksjon i API-relaterte utgifter. Denne kostnadseffektiviteten er kompatibel med forskjellige modellfamilier, inkludert Qwen-2.5 og Llama-3.2, med ressurser tilgjengelig på Demokratisering av avanserte AI og fremtidsutsikter
Zerosearchs kapasitet til å trene potente søkefunksjoner uten direkte avhengighet av ekstern søkemotor API-er gir et betydelig skifte. Den adresserer direkte to store hinder for å utvikle llms-llms: den”ukontrollerte dokumentkvaliteten”og”uoverkommelig høye API-kostnader”forbundet med tradisjonelle RL-treningsmetoder som bruker live-søkemotorer, som beskrevet i prosjektets abstrakt.
ved å simulere søkemiljøet, kan du få en mer robust. Modeller.
Open-source-utgivelsen via GitHub er nøkkelen for større samfunnsengasjement og innovasjon. Mens Zerosearch Framework i seg selv krever GPU-ressurser for Simulation LLM, er en begrensning som er anerkjent av forskerne i sin artikkel-“distribusjon av det simulerte søk LLM krever tilgang til GPU-servere.
Mens mer kostnadseffektiv enn kommersiell api-bruk, er dette innledningen. Bortsett fra det, viser Zerosearch også en unik evne til å kontrollere innholdskvalitet dynamisk.
Denne innovasjonen kommer midt i et bredere bransje-press for å forbedre LLM-effektiviteten og tilgjengeligheten. For eksempel tilbyr DFLOAT11-teknikken tapsfri komprimering for LLM-vekter, mens Sakana AIs NAMMS fokuserer på å optimalisere hukommelsen for lange sammenhenger. IBMs Bamba Hybrid AI-modell er et annet eksempel, og målrettet mot de arkitektoniske hastighetsgrensene for transformatorer. Zerosearch skjærer sin nisje ved å spesifikt takle treningskostnadene og datakontrollaspektene ved å bygge søkekapable LLM-er, og potensielt gjøre tradisjonelle søkemotorer mindre uunnværlige for denne fasiten av AI-utvikling.
Alibaba-teamets viktigste innsikt, som nevnt i deres Arxiv-papir, er at LLM-er allerede har”anskaffet omfattende verdenskunnskap under storskala prate og er i stand til å generere relevant dokumenter gitt et søk. De utdyper videre at den”primære forskjellen mellom en ekte søkemotor og en simulering LLM ligger i den tekstlige stilen til det returnerte innholdet.”
Etter SFT bruker Zerosearch en forsterknings læringsfase styrt av en”Curriculum-baserte team introduksjon.”Gradvis blir nedbrutt over tid for å simulere stadig mer utfordrende hentingsscenarier.”
Denne kontrollerte nedbrytningen av informasjonskvalitet gjør at AI først master Basic Search Mechanics og Output-formater. Deretter lærer den å navigere i mer komplekse og tvetydige informasjonslandskap. Systemets læring styres av en belønningsmekanisme basert på en F1-poengsum, med fokus på nøyaktigheten av svarene som genereres fra de simulerte søkeresultatene.
Imponerende ytelse og dramatiske kostnadsreduksjoner
Effektiviteten til Zerosearch er ikke bare teoretisk. Omfattende eksperimenter over syv store spørsmål-svarende datasett har demonstrert sine kapasiteter. I følge VentureBeats dekning, a 7 milliarder parameter ZeroSearch Retrieval-modul oppnådd ytelse sammenlignet med Google-søk. href=”https://huggingface.co/sunhaonlp/searchsimulation_14b”Target=”_ blank”> 14 milliarder parameterversjon angivelig overgår Google Search. Selve Zerosearch Project-siden sier at”Fine-Tuned 7B Simulation Engine (SFT-7B) oppnår ytelse som kan sammenlignes med Google-søk, mens 14B-varianten (SFT-14B) til og med overgår den.”I benchmark-tester scoret Zerosearchs 7B-modell 33.06 og 14B-modellen scoret 33.97, begge overgikk Googles poengsum på 32.47.
De økonomiske fordelene er en hjørnestein i Zerosearchs appell. Alibaba-teamets kostnadsanalyse, detaljert i Arxiv-papiret, illustrerer at trening med omtrent 64 000 søkespørsmål ved bruk av Google-søk via serpapi ville typisk koste rundt $ 586.70. I motsetning til dette, ved bruk av en 14B-parameter-simulering LLM med Zerosearch på fire A100 GPU-er koster bare $ 70,80-en 88% reduksjon i API-relaterte utgifter. Denne kostnadseffektiviteten er kompatibel med forskjellige modellfamilier, inkludert Qwen-2.5 og Llama-3.2, med ressurser tilgjengelig på Demokratisering av avanserte AI og fremtidsutsikter
Zerosearchs kapasitet til å trene potente søkefunksjoner uten direkte avhengighet av ekstern søkemotor API-er gir et betydelig skifte. Den adresserer direkte to store hinder for å utvikle llms-llms: den”ukontrollerte dokumentkvaliteten”og”uoverkommelig høye API-kostnader”forbundet med tradisjonelle RL-treningsmetoder som bruker live-søkemotorer, som beskrevet i prosjektets abstrakt. ved å simulere søkemiljøet, kan du få en mer robust. Modeller. Open-source-utgivelsen via GitHub er nøkkelen for større samfunnsengasjement og innovasjon. Mens Zerosearch Framework i seg selv krever GPU-ressurser for Simulation LLM, er en begrensning som er anerkjent av forskerne i sin artikkel-“distribusjon av det simulerte søk LLM krever tilgang til GPU-servere. Mens mer kostnadseffektiv enn kommersiell api-bruk, er dette innledningen. Bortsett fra det, viser Zerosearch også en unik evne til å kontrollere innholdskvalitet dynamisk. Denne innovasjonen kommer midt i et bredere bransje-press for å forbedre LLM-effektiviteten og tilgjengeligheten. For eksempel tilbyr DFLOAT11-teknikken tapsfri komprimering for LLM-vekter, mens Sakana AIs NAMMS fokuserer på å optimalisere hukommelsen for lange sammenhenger. IBMs Bamba Hybrid AI-modell er et annet eksempel, og målrettet mot de arkitektoniske hastighetsgrensene for transformatorer. Zerosearch skjærer sin nisje ved å spesifikt takle treningskostnadene og datakontrollaspektene ved å bygge søkekapable LLM-er, og potensielt gjøre tradisjonelle søkemotorer mindre uunnværlige for denne fasiten av AI-utvikling.