Badacze
Alibaba wprowadzili ZerOsearch, pionierskie ramy ustawione na redefiniowanie, w jaki sposób duże modele językowe (LLM) nabierają umiejętności pobierania informacji. Ten nowy system trenuje sztuczną inteligencję w celu symulacji interakcji z wyszukiwarką, skutecznie ucząc się „samego Google” bez wysokiej ceny komercyjnych połączeń API na żywo. Rozwój, szczegółowo opisany w Papier naukowy może dramatycznie obniżyć barierę wejścia do tworzenia zaawansowanych systemów AI zdolnych do autonomicznego pobierania informacji. Według naukowców LLM o oszałamiających 88 procent. Osiąga się to przez Źródło potrzebę tego, co dokument badawczy opisuje jako „częste wdrażanie, potencjalnie obejmując setki tysięcy żądań wyszukiwania, które ponoszą znaczne wydatki API i poważnie ograniczają skalowalność.”
Poza oszczędnościami kosztów, Zerosearch oferuje deweloperom większą kontrolę nad szkoleniem, co jest trwałym wyzwaniem, gdy wynika, że często wynika z życia na żywo. src=”https://winbuzzer.com/wp-content/uploads/2023/09/alibaba-campus-fampus-fapicial-alibaba-scared.jpg”>
Implikacje są dalekosiężne, potencjalnie demokratyzując rozwój wyrafinowanych asystentów AI, poprzez zaawansowane szkolenie i mniej zależne od dużych platform technicznych. Alibaba Cloud stwierdził o podejściu: „Stworzyliśmy system, w którym LLM mogą rozwinąć umiejętności wyszukiwania poprzez symulację, eliminując potrzebę wymagań w zakresie realnych zasobów”. Dodali: „To sprawia, że zaawansowana sztuczna inteligencja jest bardziej dostępna dla organizacji każdej wielkości.”
Alibaba podkreślił swoje zaangażowanie w szersze przyjęcie, tworząc kod zerosearch, zestawów danych i modele wstępnie wyszkolonych “za pośrednictwem Strona projektu ZeroSearch , Wspieranie szerszej adopcji i dalszych badań.
Jak Zerosearch Reimagines Ai Trening AI Trening AI SHARD AI z lekkim nadzorowanym procesem dostrajania (SFT). Ten początkowy krok przekształca LLM w specjalistyczny „moduł pobierania”. Moduł ten został zaprojektowany w celu generowania zarówno odpowiednich dokumentów, jak i, co ważne, „hałaśliwy” lub nieistotne dokumenty w odpowiedzi na zapytanie.
Kluczowe wgląd zespołu Alibaba, jak wspomniano w ich dokumencie Arxiv, jest to, że LLM już „nabyły bogatą wiedzę światową podczas oferty ofertowej na dużą skalę i są zdolne do wygenerowania istotnych dokumentów, które podano aktewę”. Ponadto opracowują, że „podstawowa różnica między prawdziwą wyszukiwarką a symulacją LLM leży w stylu tekstowym zwróconej treści.”
Po SFT, ZerOSearch wykorzystuje fazę uczenia się wzmocnienia kierowaną „mechanizmem wdrażania opartym na programie”. “Strona projektu Zerosearch wyjaśnia, że ta strategia badawcza obejmuje badanie wprowadzającego do nauczania mechanizmu podczas treningu, w której wyróżniał się jakość jakości, w której wyróżniał się jakość jakości. Dokumenty są stopniowo degradowane w czasie, aby symulować coraz trudniejsze scenariusze pobierania. “
Ta kontrolowana degradacja jakości informacji pozwala sztucznej inteligencji na najpierw opanowanie podstawowej mechaniki wyszukiwania i formatów wyjściowych. Następnie uczy się nawigować bardziej złożone i niejednoznaczne krajobrazy informacyjne. Uczenie się systemu kieruje się mechanizmem nagrody opartym na wyniku F1, koncentrując się na dokładności odpowiedzi wygenerowanych z symulowanych wyników wyszukiwania.
Imponująca wydajność i dramatyczne zmniejszenie kosztów
Skuteczność zerosearche nie jest jedynie teoretyczna. Kompleksowe eksperymenty w siedmiu majorach Pytanie o przesyłanie danych wykazały swoje możliwości. Zgodnie z zasięgiem VentureBeat, a Wersja parametrów 14-miliardowa Podobno przewyższało wyszukiwanie Google. Sama strona projektu ZeroSearch stwierdza, że „dopracowany silnik symulacyjny 7B (SFT-7B) osiąga wydajność porównywalną z wydajnością w wyszukiwarce Google, podczas gdy wariant 14B (SFT-14B) nawet ją przewyższa”. W testach porównawczych model 7B Zerosearch uzyskał 33,06, a jego model 14B uzyskał 33,97, a oba przekroczyły wynik Google wynoszący 32,47.
Zalety finansowe są kamieniem węgielnym odwołania Zerosearch. Analiza kosztów zespołu Alibaba, szczegółowo opisana w swoim artykule ARXIV, ilustruje, że szkolenie z około 64 000 zapytań wyszukiwania za pomocą wyszukiwanie w Google za pośrednictwem serpapi zwykle kosztuje około 586,70 USD. W przeciwieństwie do tego, zastosowanie Symulacji Parametru 14b z zeroarche na czterech GPU A100 kosztuje tylko 70,80 USD-zmniejszenie wydatków związanych z interfejsem API o 88%. Ta opłacalność jest kompatybilna z różnymi rodzinami modelowymi, w tym QWEN-2.5 i LLAMA-3.2, z zasobami dostępnymi na