Para peneliti Alibaba telah memperkenalkan Zerosearch, kerangka kerja perintis yang ditetapkan untuk mendefinisikan kembali bagaimana model bahasa besar (LLM) memperoleh keterampilan pengambilan informasi. Sistem baru ini melatih AI untuk mensimulasikan interaksi mesin pencari, secara efektif belajar’Google sendiri’tanpa label harga yang besar dari panggilan API komersial langsung. Perkembangan, yang dirinci dalam makalah ilmiah dapat secara dramatis menurunkan hambatan untuk membuat sistem pencarian yang dapat dikurangi dengan inovasi yang dapat dikembangkan dari pengambilan informasi otonom. LLMS dengan 88 persen yang mengejutkan, menurut para peneliti. Ini dicapai dengan menghindari kebutuhan akan apa yang digambarkan oleh makalah penelitian sebagai”peluncuran yang sering, berpotensi melibatkan ratusan ribu permintaan pencarian, yang menimbulkan biaya API yang substansial dan sangat membatasi skalabilitas.”src=”https://winbuzzer.com/wp-content/uploads/2023/09/alibaba-campus-official-alibaba-scaled.jpg”>
Implikasinya lebih jauh, berpotensi mendemokratisasikan pengembangan AI yang canggih dengan membuat pelatihan yang lebih maju, dan berpotensi mendemokratisasi AI yang berpotensi mendemonstrasikan dan melakukan pengembangan canggih dengan mengakses canggih dan berpotensi mendemonstrasikan AI dengan melakukan pengacara canggih dan berpotensi mendemonstrasikan AI dengan melakukan pengacara canggih dan berpotensi mendemokratasi dengan canggih dan berpotensi mendemonstrasikan AI yang berpotensi jauh lebih jauh, Alibaba Cloud menyatakan tentang pendekatan ini,”Kami telah menciptakan sistem di mana LLMS dapat mengembangkan keterampilan pencarian melalui simulasi, menghilangkan kebutuhan akan pencarian dunia nyata yang intensif sumber daya.”Mereka menambahkan, “Ini membuat AI canggih lebih mudah diakses oleh organisasi dari semua ukuran.”
Alibaba telah menggarisbawahi komitmennya untuk adopsi yang lebih luas dengan membuat kode ZeroSearch, dataset, dan model pra-lahan yang tersedia secara terbuka melalui Halaman proyek ZeroSearch , memupuk adopsi yang lebih luas dan penelitian lebih lanjut
bagaimana zeroSearch mengulangi pelatihan pencarian yang kuat
Proses fine-tuning (SFT). Langkah awal ini mengubah LLM menjadi”modul pengambilan”khusus. Modul ini dirancang untuk menghasilkan dokumen yang relevan dan, yang penting,”berisik”atau dokumen yang tidak relevan sebagai tanggapan atas kueri.
Wawasan utama tim Alibaba, sebagaimana disebutkan dalam makalah ArXIV mereka, adalah bahwa LLM telah”memperoleh pengetahuan dunia yang luas”yang diberikan oleh pretrain skala besar dan mampu menghasilkan dokumen yang relevan yang relevan yang relevan. Mereka semakin menguraikan bahwa”perbedaan utama antara mesin pencari nyata dan simulasi LLM terletak pada gaya tekstual dari konten yang dikembalikan.”
Mengikuti SFT, ZeroSearch menggunakan fase pembelajaran penguatan yang dipandu oleh’strategi pelatihan yang di-curikulum. Secara bertahap terdegradasi dari waktu ke waktu untuk mensimulasikan skenario pengambilan yang semakin menantang.”
Degradasi kualitas informasi yang terkontrol ini memungkinkan AI untuk pertama-tama menguasai mekanika pencarian dasar dan format output. Selanjutnya, ia belajar menavigasi lanskap informasi yang lebih kompleks dan ambigu. Pembelajaran sistem dipandu oleh mekanisme penghargaan berdasarkan skor F1, dengan fokus pada keakuratan jawaban yang dihasilkan dari hasil pencarian yang disimulasikan.
kinerja yang mengesankan dan pengurangan biaya dramatis
Efektivitas ZeroSearch bukan hanya teori. Eksperimen komprehensif di tujuh mayor Dataset pertanyaan pertanyaan telah menunjukkan kemampuannya. Menurut liputan VentureBeat, 7-miliar parameter zerosearch retrieval module Mencapai kinerja yang sebanding dengan pencarian Google. href=”https://huggingface.co/sunhaonlp/searchsimulation_14b”target=”_ blank”> versi parameter 14-biliar dilaporkan mengungguli pencarian Google. Halaman Proyek Zerosearch itu sendiri menyatakan bahwa”mesin simulasi 7B yang disesuaikan (SFT-7B) mencapai kinerja yang sebanding dengan pencarian Google, sedangkan varian 14B (SFT-14B) bahkan melampaui itu.”Dalam tes benchmark, model 7B ZeroSearch mencetak 33,06 dan model 14B-nya mencetak 33,97, keduanya melampaui skor Google 32,47.
Keuntungan keuangan adalah landasan banding Zerosearch. Analisis biaya tim Alibaba, yang dirinci dalam makalah ARXIV mereka, menggambarkan bahwa pelatihan dengan sekitar 64.000 kueri pencarian menggunakan pencarian Google melalui Serpapi biasanya harganya sekitar $ 586.70. Sebaliknya, menggunakan simulasi 14B-parameter LLM dengan nolosearch pada empat biaya GPU A100 hanya $ 70,80-pengurangan 88% dalam biaya terkait API. Efisiensi biaya ini kompatibel dengan berbagai keluarga model, termasuk Qwen-2.5 dan llama-3.2, dengan sumber daya yang tersedia di mendemokratisasi AI canggih dan Outlook Future
Kapasitas Zerosearch untuk melatih kemampuan pencarian yang kuat tanpa ketergantungan langsung pada API mesin pencari eksternal menghadirkan perubahan yang signifikan. Ini secara langsung membahas dua rintangan utama dalam mengembangkan llms yang diapisi pencarian:”Kualitas dokumen yang tidak terkendali”dan”biaya API yang sangat tinggi”yang terkait dengan metode pelatihan RL tradisional yang menggunakan mesin pencari hidup, sebagaimana diuraikan dalam informasi yang lebih baik. Rilis open-source melalui GitHub adalah kunci untuk keterlibatan dan inovasi masyarakat yang lebih luas. Sementara kerangka kerja ZerOsearch itu sendiri membutuhkan sumber daya GPU untuk Simulasi LLM, batasan yang diakui oleh para peneliti dalam makalah mereka—”Menyebarkan Simulasi Pencarian LLM membutuhkan akses ke server GPU.
Sementara lebih hemat biaya daripada penggunaan API komersial, ini memperkenalkan biaya infrastruktur tambahan secara keseluruhan. Selain itu, ZeroSearch juga menunjukkan kemampuan unik untuk mengontrol kualitas konten secara dinamis.
Inovasi ini tiba di tengah dorongan industri yang lebih luas untuk meningkatkan efisiensi dan aksesibilitas LLM. Misalnya, teknik DFLOAT11 menawarkan kompresi lossless untuk bobot LLM, sementara NAMMS Sakana AI fokus pada mengoptimalkan memori untuk konteks yang panjang. Model AI hibrida Bamba IBM adalah contoh lain, menargetkan batas kecepatan arsitektur transformator. Zerosearch mengukir ceruknya dengan secara khusus menangani biaya pelatihan dan aspek kontrol data dari membangun LLM yang mampu pencarian, berpotensi membuat mesin pencari tradisional kurang diperlukan untuk segi pengembangan AI ini.
Kapasitas Zerosearch untuk melatih kemampuan pencarian yang kuat tanpa ketergantungan langsung pada API mesin pencari eksternal menghadirkan perubahan yang signifikan. Ini secara langsung membahas dua rintangan utama dalam mengembangkan llms yang diapisi pencarian:”Kualitas dokumen yang tidak terkendali”dan”biaya API yang sangat tinggi”yang terkait dengan metode pelatihan RL tradisional yang menggunakan mesin pencari hidup, sebagaimana diuraikan dalam informasi yang lebih baik. Rilis open-source melalui GitHub adalah kunci untuk keterlibatan dan inovasi masyarakat yang lebih luas. Sementara kerangka kerja ZerOsearch itu sendiri membutuhkan sumber daya GPU untuk Simulasi LLM, batasan yang diakui oleh para peneliti dalam makalah mereka—”Menyebarkan Simulasi Pencarian LLM membutuhkan akses ke server GPU.
Sementara lebih hemat biaya daripada penggunaan API komersial, ini memperkenalkan biaya infrastruktur tambahan secara keseluruhan. Selain itu, ZeroSearch juga menunjukkan kemampuan unik untuk mengontrol kualitas konten secara dinamis.
Inovasi ini tiba di tengah dorongan industri yang lebih luas untuk meningkatkan efisiensi dan aksesibilitas LLM. Misalnya, teknik DFLOAT11 menawarkan kompresi lossless untuk bobot LLM, sementara NAMMS Sakana AI fokus pada mengoptimalkan memori untuk konteks yang panjang. Model AI hibrida Bamba IBM adalah contoh lain, menargetkan batas kecepatan arsitektur transformator. Zerosearch mengukir ceruknya dengan secara khusus menangani biaya pelatihan dan aspek kontrol data dari membangun LLM yang mampu pencarian, berpotensi membuat mesin pencari tradisional kurang diperlukan untuk segi pengembangan AI ini.