Alibaban tutkijat ovat ottaneet käyttöön Zerosearchin, uraauurtavan kehyksen, joka on asetettu määrittelemään, kuinka suuret kielimallit (LLMS) hankkivat tiedonhakutaidot. Tämä uusi järjestelmä kouluttaa AI: tä simuloimaan hakukoneiden vuorovaikutusta ja oppimalla tehokkaasti Googlen itse ilman elävien kaupallisten API-puhelujen mojovaa hintalappua. Kehitys, joka on yksityiskohtaisesti a tieteellinen paperi voisi dramaattisesti alentaa dramaattisesti pääsyn estettä edistyneiden AI-järjestelmien luomiselle, jotka kykenevät itsenäisesti tietojen hakemiseen. Tutkijoiden mukaan LLMS: llä uskomaton 88 prosenttia. Tämä saavutetaan sivuuttamalla tarve siihen, mitä tutkimusasiakirja kuvaa”toistuviksi käyttöönotoiksi, joihin liittyy satoja tuhansia hakupyyntöjä, jotka aiheuttavat huomattavia API-kuluja ja rajoittavat vakavasti skaalautuvuutta.”src=”https://winbuzzer.com/wp-content/uploads/2023/09/alibaba-campus-ricial-alibaba-scaled.jpg”>
Vaikutukset ovat kauaskantoisia, mahdollisesti demokratisoimalla hienostuneiden AI-avustajien kehitystä. Alibaba Cloud ilmoitti lähestymistavasta:”Olemme luoneet järjestelmän, jossa LLM: t voivat kehittää hakutaitoja simulaation avulla eliminoimalla resurssiintensiivisten reaalimaailman hakujen tarve.”He lisäsivät:”Tämä tekee edistyksellisemmän AI: n kaiken kokoisten organisaatioiden saataville.”
Alibaba on korostanut sitoutumistaan laajempaan käyttöönottoon tekemällä Zerosearch-koodin, tietojoukkojen ja ennakkomaksujen malleja avoimesti saatavana sen github-virallinen Zerosearch-projektisivu , edistää laajempaa käyttöönottoa ja jatkotutkimusta.
Kuinka Zerosearch-tietojen aloittaminen AI-hakukoulutus
Zerosearchin metodologian aloittaminen A: n valonsuojattujen ohjeiden kanssa
Zerosearchin aloittaminen A-valonsuojauksen kanssa
Zerosearchin metodologian AI-hakujen aloittaminen
Zerosearchin metodologian AI-hakupainoon. hienosäätö (SFT)-prosessi. Tämä alkuvaihe muuttaa LLM: n erikoistuneeksi “hakumoduuliksi”. Tämä moduuli on suunniteltu tuottamaan sekä asiaankuuluvat asiakirjat että mikä tärkeintä, “meluisat”tai merkityksettömät asiakirjat vastauksena kyselyyn.
Alibaba-tiimin keskeinen näkemys, kuten heidän arxiv-lehdessä mainittiin, on se, että LLM: t ovat jo”hankkineet laajoja maailmantietoa laaja-alaisessa esikäsittelyn aikana ja ovat luomalla asiakirjoja, jotka on annettu hakukvyseistä. Lisäksi he tarkentavat, että “ensisijainen ero todellisen hakukoneen ja simulaation välillä LLM on palautetun sisällön tekstityylillä.”
SFT: n jälkeen Zerosearch käyttää vahvistusoppimisvaihetta, jota ohjaa “opetussuunnitelmapohjainen käyttöönotto-strategia”.”Ajan myötä vähitellen heikentyivät simuloimaan yhä haastavampaa hakuskenaarioita.”
Tämä tiedon laadun hallittu heikkeneminen antaa AI: lle ensimmäisen master-perushakumekaniikan ja lähtömuotojen. Myöhemmin se oppii navigoimaan monimutkaisemmissa ja epäselvämpien tietojen maisemissa. Järjestelmän oppimista ohjaa palkkiomekanismi, joka perustuu F1-pistemäärään, keskittyen simuloiduista hakutuloksista syntyneiden vastausten tarkkuuteen. Kattavat kokeilut seitsemällä suurella Kysymyksen vastaiset tietojoukot ovat osoittaneet kykynsä. Venturebeatin kattavuuden mukaan 7 miljardin parametrin nolla-hakumoduuli. href=”https://huggingface.co/sunhaonlp/searchsimulation_14b”Target=”_ tyhjä”> 14 miljardin parametriversio on ilmoitettu ylittänyt Google-haun. Itse Zerosearch-projektisivulla todetaan, että “hienosäädetty 7b-simulaatiomoottori (SFT-7B) saavuttaa suorituskyvyn, joka on verrattavissa Google-haun suorituskykyyn, kun taas 14B-variantti (SFT-14B) jopa ylittää sen”. Vertailutesteissä Zerosearchin 7B-malli teki 33,06 ja sen 14B-malli 33,97, molemmat ylittävät Googlen pisteet 32,47.
Taloudelliset edut ovat Zerosearchin vetoomuksen kulmakivi. Alibaba-tiimin kustannusanalyysi, joka on yksityiskohtaisesti heidän arxiv-paperissaan, kuvaa, että koulutus noin 64 000 hakukyselyllä Google-haku Serpapi : n kautta maksaisi yleensä noin 586,70 dollaria. Sitä vastoin 14B-parametrin simulaation LLM: n käyttäminen nollatutkimuksella neljällä A100 GPU: lla maksaa vain 70,80 dollaria-88% API: hen liittyvien kulujen väheneminen. Tämä kustannustehokkuus on yhteensopiva erilaisten malliperheiden kanssa, mukaan lukien Qwen-2.5 ja Llaama-3.2, resursseilla, jotka ovat saatavilla Halging Face . > demokratisoivat edistyneen AI: n ja Future Outlookin
Zerosearchin kyky kouluttaa voimakkaita hakuominaisuuksia ilman suoraa luottamista ulkoisiin hakukoneiden sovellusliittymiin. Se käsittelee suoraan kahta suurta estettä hakuvalmistetun LLMS: n kehittämisessä:”hallitsemattoman asiakirjan laadun”ja”kohtuuttoman korkean API-kustannusten”, jotka liittyvät perinteisiin RL-koulutusmenetelmiin, joissa käytetään eläviä hakuja, kuten projektin abstraktissa on esitetty.
Avoimen lähdekoodin julkaisu GitHubin kautta on avain laajemmalle yhteisön sitoutumiselle ja innovaatiolle. Vaikka Zerosearch-kehys itsessään vaatii GPU-resursseja simulaation LLM: lle, tutkijoiden tunnustama rajoitus-“Simuloidun haun LLM: n käyttöönotto vaatii GPU-palvelimien pääsyn. Lisäksi Zerosearch osoittaa myös ainutlaatuisen kyvyn hallita sisällön laatua dynaamisesti. Esimerkiksi DFloat11-tekniikka tarjoaa häviömättömän pakkauksen LLM-painoille, kun taas Sakana AI: n NAMM: t keskittyvät muistin optimointiin pitkiin kontekstiin. IBM: n Bamba Hybrid AI-malli on toinen esimerkki, joka kohdistuu muuntajien arkkitehtonisiin nopeusrajoituksiin. Zerosearch veistää kapeansa käsittelemällä erityisesti koulutuskustannuksia ja tiedonhallinnan näkökohtia hakukokoisten LLM: ien rakentamisessa, mikä tekee mahdollisesti perinteisistä hakukoneista, jotka ovat vähemmän välttämättömiä AI-kehityksen tämän puolen suhteen.