Die Forscher von
Alibaba haben Zerossearch eingeführt, ein wegweisendes Rahmen, um neu zu definieren, wie große Sprachmodelle (LLMs) Informationsabruffähigkeiten erwerben. Dieses neue System trainiert KI, um Suchmaschineninteraktionen zu simulieren und zu „Google selbst“ ohne den hohen Preis für live kommerzielle API-Anrufe effektiv zu lernen. Die Entwicklung, die in einem wissenschaftliches Papier beschrieben wurde. Nach Angaben der Forscher durchsuchte die Suchanhängere LLMs um erstaunliche 88 Prozent. Dies wird erreicht, indem die Notwendigkeit des Forschungspapiers als „häufige Rollouts, die möglicherweise Hunderttausende von Suchanfragen beteiligt sind und erhebliche API-Ausgaben und stark einschränken, die Skalierbarkeit erheblich einschränken. src=”https://winbuzzer.com/wp-content/uploads/2023/09/alibaba-campus-official-alibaba-scaled.jpg”>
Die Implikationen sind weitreichende, die die Entwicklung von Ai-Assistenzern, durch die die Entwicklung von Tech-AVISIBLEIGEN, und weniger zu demokratisieren, und weniger auf die Entwicklung von AVISIONEN ASVERGEN. Alibaba Cloud erklärte über den Ansatz:”Wir haben ein System erstellt, in dem LLMs durch Simulation Suchfähigkeiten entwickeln können und die Notwendigkeit ressourcenintensiver realer Suchanfragen beseitigt.”Sie fügten hinzu: „Dies macht die erweiterte KI für Organisationen aller Größen zugänglicher.”und der offizielle Zerossearch-Projekt , fördert eine breitere Adoption und weitere Forschung weiter. Überlebter Fine-Tuning (SFT)-Prozess. Dieser erste Schritt verwandelt ein LLM in ein spezialisiertes „Abrufmodul“. Dieses Modul soll sowohl relevante Dokumente als auch”laute”oder irrelevante Dokumente als Antwort auf eine Abfrage generieren. Sie nähern sich ferner, dass der „Hauptunterschied zwischen einer realen Suchmaschine und einer Simulation LLM im Textstil des zurückgegebenen Inhalts liegt.“
Nach SFT setzt ZeroSearch eine Verstärkungslernenphase an, die durch eine „Curriculum-basierte Rollout-Strategie“ geleitet wird. Nach und nach im Laufe der Zeit verschlechtert, um zunehmend herausfordernde Abrufszenarien zu simulieren. Anschließend lernt es, komplexere und mehrdeutige Informationslandschaften zu navigieren. Das Lernen des Systems wird von einem Belohnungsmechanismus geleitet, der auf einem F1-Score basiert und sich auf die Genauigkeit der Antworten aus den simulierten Suchergebnissen konzentriert. Umfassende Experimente in sieben Major Frage-Answering-Datensätze haben seine Fähigkeiten demonstriert. Laut der Berichterstattung von VentureBeat a 7-Million-Parameter Zerosarch-Abruf-Abrufmodul href=”https://huggingface.co/sunhaonlp/searchsimulation_14b”target=”_ leer”> 14-billion-Parameterversion Berichten zufolge hat die Google-Suche übertroffen. Auf der ZeroSearch-Projektseite selbst heißt es, dass „die feine 7B-Simulationsmotor (SFT-7B) die Leistung erzielt, die mit der von Google Search vergleichbar ist, während die 14B-Variante (SFT-14B) sie sogar übertrifft.“ Bei Benchmark-Tests erzielte das 7B-Modell von Zerosearch 33,06 und sein 14B-Modell 33,97 und beide übertrafen die Punktzahl von Google von 32,47. Die Kostenanalyse des Alibaba-Teams, die in ihrem Arxiv-Papier aufgeführt ist, zeigt, dass das Training mit ungefähr 64.000 Suchanfragen mit Google-Suche über Serpapi in der Regel etwa 586,70 $ kosten würde. Im Gegensatz dazu kostet die Verwendung einer 14B-Parameter-Simulation LLM mit ZeroSearch bei vier A100-GPUs nur 70,80 USD-eine Reduzierung der API-bezogenen Ausgaben um 88%. Diese Kosteneffizienz ist mit verschiedenen Modellfamilien kompatibel, darunter Qwen-2.5 und Lama-3.2, wobei Ressourcen auf Demokratisierung der fortgeschrittenen KI und zukünftigen Aussichten
ZeroSearch-Fähigkeit, potente Suchfunktionen zu schulen, ohne direkt auf die API von externer Suchmaschine zu stimmen, weist eine erhebliche Verschiebung vor. Es befasst sich direkt mit zwei wichtigen Hürden bei der Entwicklung von Such-Augmented-LLMs: den „unkontrollierten Dokumentqualität“ und den „unerschwinglich hohen API-Kosten“, die mit herkömmlichen RL-Trainingsmethoden verbunden sind, die Live-Suchmaschinen verwenden, wie in den Abstrakten des Projekts beschrieben. Open-Source-Veröffentlichung über GitHub ist der Schlüssel für ein breiteres Engagement und Innovationen in der Gemeinde. Während für das ZeroSearch-Framework selbst GPU-Ressourcen für die Simulation LLM erforderlich sind, ist eine von den Forschern in ihrem Papier anerkannte Einschränkung:”Die Einsatz der simulierten Such-LLM erfordert Zugriff auf GPU-Server. Abgesehen davon zeigt Zerossearch auch eine einzigartige Fähigkeit, die Qualität der Inhalte dynamisch zu steuern. Beispielsweise bietet die DFloat11-Technik eine verlustfreie Komprimierung für LLM-Gewichte, während sich NAMMS von Sakana AI auf die Optimierung des Gedächtnisses für lange Kontexte konzentriert. Das Bamba Hybrid AI-Modell von IBM ist ein weiteres Beispiel, das auf die Architekturgeschwindigkeitsgrenzen von Transformatoren abzielt. ZeroSearch schnitzt seine Nische, indem sie die Aspekte der Trainingskosten und die Datenkontrolle bei der Erstellung von LLMs für Suchfunktionen spezifisch angeht und traditionelle Suchmaschinen für diese Facette der KI-Entwicklung möglicherweise weniger unverzichtbar machen.
