Noul cadru ZeroSearch de la Alibaba reduce costurile de instruire pentru AI activate de căutare cu 88%

Cercetătorii Alibaba au introdus ZeroSearch, un cadru de pionierat pentru a redefini modul în care modelele de limbaj mare (LLM) dobândesc abilități de recuperare a informațiilor. Acest nou sistem antrenează AI pentru a simula interacțiunile cu motorul de căutare, învățând efectiv la „Google în sine” fără prețul ridicat al apelurilor API comerciale live. Dezvoltarea, detaliată într-un hârtie științifică ar putea scădea dramatic bariera la intrare pentru crearea de sisteme AI avansate capabile de a regăsi informația autonome. LLM-uri cu un uimitor 88 la sută, potrivit cercetătorilor. Acest lucru se realizează prin evitarea necesității a ceea ce documentul de cercetare descrie drept „lansări frecvente, care ar putea implica sute de mii de solicitări de căutare, care suportă cheltuieli substanțiale API și constrâng sever scalabilitatea.”

dincolo de economiile de costuri, ZeroSearch oferă dezvoltatorilor un control mai mare asupra calității datelor de instruire, o provocare persistentă atunci când se bazează pe rezultatele de căutare în direct. src=”https://winbuzzer.com/wp-content/uploads/2023/09/alibaba-campus-official-alibaba-scaled.jpg”>

Implicațiile sunt de îndepărtare, potențial democratând dezvoltarea asistenților de AI sofisticate. Alibaba Cloud a declarat despre abordare: „Am creat un sistem în care LLM-urile pot dezvolta abilități de căutare prin simulare, eliminând necesitatea căutărilor din lumea reală intensivă în resurse”. They added, “This makes advanced AI more accessible to organizations of all sizes.”

Alibaba has underscored its commitment to broader adoption by making the ZeroSearch code, datasets, and pre-trained models openly available through its GitHub repository și oficialul Pagina proiectului ZeroSearch

Insight-ul cheie al echipei Alibaba, așa cum se menționează în hârtia lor arxiv, este că LLM-urile au „dobândit deja cunoștințe mondiale în timpul pretrării pe scară largă și sunt capabile de a genera documente relevante, date cu privire la o căutare a unei căutări.” Aceștia elaborează în continuare că „diferența principală între un motor de căutare real și o simulare LLM constă în stilul textual al conținutului returnat. Degradat treptat în timp pentru a simula scenarii din ce în ce mai dificile de regăsire. Ulterior, învață să navigheze peisaje informaționale mai complexe și ambigue. Învățarea sistemului este ghidată de un mecanism de recompensă bazat pe un scor F1, concentrându-se pe exactitatea răspunsurilor generate din rezultatele căutării simulate.

Eficacitatea Zerosearch nu este doar teoretică. Experimente cuprinzătoare pe șapte majore seturi de date de răspuns la întrebări și-au demonstrat capacitățile. According to VentureBeat’s coverage, a 7-billion parameter ZeroSearch retrieval module achieved performance comparable to Google Search.

Even more impressively, a larger 14-miliarde de parametri versiunea a depășit căutarea Google. Pagina Proiectului ZeroSearch în sine afirmă că „motorul de simulare de 7b reglat (SFT-7B) realizează performanță comparabilă cu cea a căutării Google, în timp ce varianta 14B (SFT-14B) o depășește chiar.”În testele de referință, modelul 7B al lui ZeroSearch a obținut 33.06, iar modelul său 14B a obținut 33.97, ambele depășind scorul Google de 32.47.

Avantajele financiare sunt o piatră de temelie a apelului ZeroSearch. Analiza costurilor echipei Alibaba, detaliată în hârtia lor Arxiv, ilustrează această pregătire cu aproximativ 64.000 de interogări de căutare folosind Căutare Google prin Serpapi ar costa de obicei în jur de 586,70 USD. În schimb, utilizarea unui LLM de 14B-parametru cu ZeroSearch pe patru GPU-uri A100 costă doar 70,80 USD-o reducere de 88% a cheltuielilor legate de API. Această eficiență cost-costuri este compatibilă cu diverse familii de model, inclusiv QWEN-2.5 și LLAMA-3.2, cu resurse disponibile pe huggging Face > Democratizarea AI avansată și perspectivele viitoare

Capacitatea ZeroSearch de a antrena capacități puternice de căutare fără a se baza direct pe API-urile externe ale motorului de căutare prezintă o schimbare semnificativă. Acesta abordează în mod direct două obstacole majore în dezvoltarea LLM-urilor îmbunătățite de căutare: „calitatea documentului necontrolată” și „costurile API prohibitiv ridicate” asociate cu metodele tradiționale de formare RL care folosesc motoarele de căutare live, așa cum este prezentat în rezumatul proiectului.

, simulând mediul de căutare, dezvoltatorii obțin un control mai bun asupra informațiilor. Lansarea open-source prin GitHub este esențială pentru o implicare mai largă a comunității și inovația. În timp ce cadrul ZeroSearch în sine necesită resurse GPU pentru Simularea LLM, o limitare recunoscută de cercetători în lucrarea lor-„implementarea căutării simulate necesită acces la serverele GPU.

în timp ce mai mult rentabil decât utilizarea API-ului comercial, aceasta introduce costuri suplimentare de infrastructură”-reducerea generală a costurilor și a dependenței este substanțial. În afară de aceasta, ZeroSearch arată, de asemenea, o capacitate unică de a controla dinamic calitatea conținutului.

Această inovație ajunge în mijlocul unei presiuni mai largi din industrie pentru a îmbunătăți eficiența și accesibilitatea LLM. De exemplu, tehnica Dfloat11 oferă compresie fără pierderi pentru greutățile LLM, în timp ce NAMMS-ul Sakana AI se concentrează pe optimizarea memoriei pentru contexte lungi. Modelul AI hibrid Bamba al IBM este un alt exemplu, care vizează limitele de viteză arhitecturală ale transformatoarelor. ZeroSearch își crește nișa prin abordarea în mod specific a costurilor de instruire și a aspectelor de control al datelor ale construcțiilor de LLM-uri capabile de căutare, ceea ce poate face motoarele de căutare tradiționale mai puțin indispensabile pentru această fațetă a dezvoltării AI.