Studiuesit e Alibaba kanë prezantuar Zerosearch, një kornizë pionierësh të vendosur për të ripërcaktuar se si modele të mëdha gjuhësore (LLM) fitojnë aftësi të marrjes së informacionit. Ky sistem i ri trajnon AI për të simuluar ndërveprimet e motorit të kërkimit, duke mësuar në mënyrë efektive të”vetë Google”pa çmimin e madh të thirrjeve të drejtpërdrejta të API komerciale. Zhvillimi, i detajuar në një letër shkencore Mund të ulë në mënyrë dramatike pengesën për hyrjen për krijimin e sistemeve të përparuara të AI, të afta për të realizuar informacione për të zvogëluar për të zvogëluar aftësitë e kërkimit për të zvogëluar për të zvogëluar aftësitë për të zvogëluar, për të zvogëluar aftësitë për të zvogëluar aftësitë për të zvogëluar për të zvogëluar aftësitë e kërkuara për të zvogëluar aftësitë e kërkimit për të zvogëluar. LLM nga një 88 përqind mahnitëse, sipas studiuesve. Kjo arrihet duke anashkaluar nevojën për atë që punimi i hulumtimit e përshkruan si”mbështjellje të shpeshta, duke përfshirë potencialisht qindra mijëra kërkesa të kërkimit, të cilat pësojnë shpenzime të konsiderueshme të API dhe kufizojnë rëndë shkallëzueshmërinë.”src=”https://winbuzzer.com/wp-content/uploads/2023/09/alibaba-campus-fficial-alibaba-caled.jpg”>
Implikimet janë të gjera, potencialisht duke demokratizuar zhvillimin e asistentëve të sofistikuar të AI duke bërë trajnime të përparuara më të arritshme dhe më pak të varura nga teknologjia e madhe. Alibaba Cloud deklaroi për qasjen,”Ne kemi krijuar një sistem ku LLMS mund të zhvillojë aftësi kërkimi përmes simulimit, duke eleminuar nevojën për kërkime të botës reale të burimeve.”Ata shtuan,”Kjo e bën AI të përparuar më të arritshme për organizatat e të gjitha madhësive.”
Alibaba ka nënvizuar angazhimin e saj për adoptim më të gjerë duke bërë kodin zerosearch, të dhënat e të dhënave dhe modelet e para-trajnuara të hapura në dispozicion përmes Zerosearch projekti i projektit , duke nxitur adoptim më të gjerë dhe hulumtim të mëtejshëm. Procesi i rregullimit të mirë (SFT). Ky hap fillestar e shndërron një LLM në një”modul të rikthimit”të specializuar. Ky modul është krijuar për të gjeneruar të dy dokumentet përkatëse dhe, më e rëndësishmja, dokumente”të zhurmshme”ose të parëndësishme në përgjigje të një pyetjeje. Ata më tej shtjellojnë se”ndryshimi parësor midis një inxhinieri të vërtetë të kërkimit dhe një LLM simulimi qëndron në stilin tekstual të përmbajtjes së kthyer.”Dokumentet janë degraduar gradualisht me kalimin e kohës për të simuluar skenarët gjithnjë e më sfidues të rikthimit.”Më pas, mëson të lundrojë peizazhe më komplekse dhe të paqarta të informacionit. Mësimi i sistemit udhëhiqet nga një mekanizëm shpërblimi i bazuar në një rezultat F1, duke u përqëndruar në saktësinë e përgjigjeve të krijuara nga rezultatet e kërkimit të simuluar. Eksperimente gjithëpërfshirëse në shtatë të mëdha të dhënat e pyetjeve të pyetjeve kanë demonstruar aftësitë e saj. Sipas mbulimit të VentureBeat, a 7-miliardë Moduli i Zerosearch i Zerosearch Arritja e performancës së krahasueshme me kërkimin e Google. href=”https://huggingface.co/sunhaonlp/searchSimululation_14b”target=”_ bosh”> versioni i parametrave 14-miliardë raportohet se tejkalon kërkimin e Google. Faqja e projektit Zerosearch në vetvete thotë se”Motori i simulimit të rregulluar mirë 7B (SFT-7B) arrin performancën e krahasueshme me atë të Google Search, ndërsa varianti 14B (SFT-14B) madje e tejkalon atë.”Në testet e standardeve, modeli 7B i Zerosearch shënoi 33.06 dhe modeli i tij 14B shënoi 33.97, të dy duke tejkaluar rezultatin e Google prej 32.47.
Avantazhet financiare janë një gur themeli i apelit të Zerosearch. Analiza e kostos së ekipit Alibaba, e detajuar në letrën e tyre arXiv, ilustron se trajnimi me afro 64,000 pyetje kërkimi duke përdorur kërkimi i Google përmes serpapi zakonisht do të kushtonte rreth 586.70 $. Në të kundërt, përdorimi i një LLM Simulimi 14B-Parametër me Zerosearch në katër GPU A100 kushton vetëm 70.80 $-një ulje prej 88% në shpenzimet e lidhura me API. Kjo efikasitet i kostos është i pajtueshëm me familje të ndryshme model, duke përfshirë Qwen-2.5 dhe llama-3.2, me burime të disponueshme në Demokratizimi i AI i përparuar dhe Outlook i ardhshëm
Kapaciteti i Zerosearch për të trajnuar aftësi të fuqishme të kërkimit pa mbështetje të drejtpërdrejtë në motorin e kërkimit të jashtëm API paraqet një ndryshim të rëndësishëm. Ai adreson drejtpërdrejt dy pengesa të mëdha në zhvillimin e LLM-ve të kërkuara të kërkuara:”cilësia e pakontrolluar e dokumentit”dhe”kostot e API të lartë ndalues të lartë”të shoqëruara me metodat tradicionale të trajnimit RL që përdorin motorët e kërkimit të drejtpërdrejtë, siç përshkruhen në abstraktin e projektit. Lëshimi me burim të hapur përmes GitHub është thelbësor për angazhimin dhe inovacionin më të gjerë të komunitetit. Ndërsa vetë korniza e Zerosearch kërkon burime GPU për LLM Simulimi, një kufizim i njohur nga studiuesit në letrën e tyre-“Vendosja e LLM-it të simuluar të kërkimit kërkon qasje në serverët GPU. Përveç kësaj, Zerosearch tregon gjithashtu një aftësi unike për të kontrolluar dinamikisht cilësinë e përmbajtjes. Për shembull, teknika DFLOAT11 ofron kompresim pa humbje për peshat LLM, ndërsa NAMMS i Sakana AI përqendrohet në optimizimin e kujtesës për kontekste të gjata. Modeli AI Hybrid AI i Bamba i IBM është një shembull tjetër, duke synuar kufijtë e shpejtësisë arkitektonike të transformatorëve. Zerosearch gdhendet ngrohtësitë e saj duke trajtuar posaçërisht koston e trajnimit dhe aspektet e kontrollit të të dhënave të LLM-ve të kërkimit të ndërtimit, duke bërë potencialisht motorët tradicionalë të kërkimit më pak të domosdoshëm për këtë aspekt të zhvillimit të AI.
