Ipinakilala ng mga mananaliksik ng Alibaba ang Zerosearch, isang balangkas ng pangunguna na itinakda upang muling tukuyin kung gaano kalaki ang mga modelo ng wika (LLMS). Ang bagong sistemang ito ay nagsasanay sa AI upang gayahin ang mga pakikipag-ugnay sa search engine, na epektibong natututo sa’Google mismo’nang walang mabigat na presyo ng tag ng mga live na tawag sa komersyal na API. Ang pag-unlad, na detalyado sa isang Siyentipikong papel Maaaring mabawasan ang hadlang sa pagpasok para sa paglikha Ang mga LLM na pinahusay ng paghahanap sa pamamagitan ng isang nakakapagod na 88 porsyento, ayon sa mga mananaliksik. Ito ay nakamit sa pamamagitan ng pag-iwas sa pangangailangan para sa inilarawan ng papel ng pananaliksik bilang”madalas na pag-rollout, na potensyal na kinasasangkutan ng daan-daang libong mga kahilingan sa paghahanap, na nagkakaroon ng malaking gastos sa API at malubhang pumipilit sa scalability.”mga makina. mga platform. Sinabi ni Alibaba Cloud tungkol sa diskarte,”Lumikha kami ng isang sistema kung saan ang mga LLM ay maaaring bumuo ng mga kasanayan sa paghahanap sa pamamagitan ng kunwa, tinanggal ang pangangailangan para sa mga paghahanap na tunay na mundo.”Idinagdag nila,”Ginagawa nitong mas madaling ma-access ang advanced na AI sa mga samahan ng lahat ng laki.”Repository at ang opisyal na zerosearch na pahina ng proyekto , pagpapalakas ng mas malawak na pag-aampon at karagdagang pananaliksik. Nagsisimula sa isang magaan na pinangangasiwaan na proseso ng pag-aayos ng pinong (SFT). Ang paunang hakbang na ito ay nagbabago ng isang LLM sa isang dalubhasang”module ng pagkuha.”Ang modyul na ito ay idinisenyo upang makabuo ng parehong mga kaugnay na dokumento at, mahalaga,”maingay”o hindi nauugnay na mga dokumento bilang tugon sa isang query. Mas detalyado nila na ang”pangunahing pagkakaiba sa pagitan ng isang tunay na search engine at isang simulation LLM ay namamalagi sa tekstuwal na istilo ng naibalik na nilalaman.”Unti-unting pinapabagal sa paglipas ng panahon upang gayahin ang lalong mapaghamong mga senaryo sa pagkuha.”
Kasunod nito, natututo itong mag-navigate ng mas kumplikado at hindi maliwanag na mga landscape ng impormasyon. Ang pag-aaral ng system ay ginagabayan ng isang mekanismo ng gantimpala batay sa isang marka ng F1, na nakatuon sa kawastuhan ng mga sagot na nabuo mula sa mga simulate na resulta ng paghahanap. Ang mga komprehensibong eksperimento sa pitong pangunahing Mga datasets ng Tanong-Pagsusulit ay nagpakita ng mga kakayahan nito. Ayon sa saklaw ng VentureBeat, isang 7-bilyong parameter ng zerosearch retrieval module nakamit ang pagganap na maihahambing sa paghahanap sa google. href=”https://huggingface.co/sunhaonlp/searchsimulation_14b”target=”_ blangko”> 14-bilyon na bersyon ng parameter Naiulat na na-outperformed Google Search. Ang pahina ng proyekto ng Zerosearch mismo ay nagsasaad na”ang pinong 7B simulation engine (SFT-7B) ay nakakamit ng pagganap na maihahambing sa paghahanap ng Google, habang ang variant ng 14B (SFT-14B) ay lumampas pa rito.”Sa Benchmark Tests, ang modelo ng 7B ng Zerosearch ay umiskor ng 33.06 at ang 14B na modelo nito ay umiskor ng 33.97, kapwa lumampas sa marka ng Google na 32.47. Ang pagtatasa ng gastos sa koponan ng Alibaba, na detalyado sa kanilang papel na ARXIV, ay naglalarawan na ang pagsasanay na may humigit-kumulang na 64,000 mga query sa paghahanap gamit ang Paghahanap ng Google sa pamamagitan ng Serpapi ay karaniwang nagkakahalaga ng $ 586.70. Sa kaibahan, ang paggamit ng isang 14B-parameter simulation LLM na may zeroarch sa apat na A100 GPU ay nagkakahalaga lamang ng $ 70.80-isang 88% na pagbawas sa mga gastos na nauugnay sa API. Ang kahusayan sa gastos na ito ay katugma sa iba’t ibang mga pamilya ng modelo, kabilang ang QWEN-2.5 at LLAMA-3.2, na may mga mapagkukunan na magagamit sa Democratizing Advanced AI at Hinaharap na Outlook Diretso itong tinutukoy ang dalawang pangunahing hadlang sa pagbuo ng mga search-augmented LLMS: ang”hindi makontrol na kalidad ng dokumento”at ang”ipinagbabawal na mataas na gastos sa API”na nauugnay sa tradisyonal na mga pamamaraan ng pagsasanay sa RL na gumagamit ng mga live na search engine, tulad ng nakabalangkas sa abstract ng proyekto.
Ang open-source release sa pamamagitan ng GitHub ay susi para sa mas malawak na pakikipag-ugnayan at pagbabago ng komunidad. Habang ang balangkas ng Zerosearch mismo ay nangangailangan ng mga mapagkukunan ng GPU para sa Simulation LLM, ang isang limitasyon na kinilala ng mga mananaliksik sa kanilang papel-“Ang pag-aalis ng simulate na Search LLM ay nangangailangan ng pag-access sa mga server ng GPU. Bukod doon, ang Zerosearch ay nagpapakita rin ng isang natatanging kakayahan upang pabago-bago na kontrolin ang kalidad ng nilalaman. Halimbawa, ang pamamaraan ng DFLOAT11 ay nag-aalok ng walang pagkawala ng compression para sa mga timbang ng LLM, habang ang Sakana AI’s Namms ay nakatuon sa pag-optimize ng memorya para sa mga mahabang konteksto. Ang modelo ng IBM Hybrid AI ay isa pang halimbawa, na target ang mga limitasyon ng bilis ng arkitektura ng mga transformer. Inukit ng Zerosearch ang angkop na lugar nito sa pamamagitan ng partikular na pagharap sa gastos sa pagsasanay at data control na mga aspeto ng pagbuo ng mga LLM na may kakayahang maghanap, na potensyal na ginagawang hindi gaanong kailangan ang mga search engine para sa facet na ito ng pag-unlad ng AI.
