นักวิจัยของอาลีบาบาได้เปิดตัว Zerosearch ซึ่งเป็นกรอบการบุกเบิกที่กำหนดไว้เพื่อกำหนดรูปแบบภาษาขนาดใหญ่ (LLMS) ที่ได้รับทักษะการดึงข้อมูล ระบบใหม่นี้ฝึกอบรม AI เพื่อจำลองการโต้ตอบของเครื่องมือค้นหาอย่างมีประสิทธิภาพการเรียนรู้ที่จะ’Google เอง’โดยไม่ต้องมีป้ายราคาที่หนักหน่วงของการโทร Live API เชิงพาณิชย์ การพัฒนาโดยละเอียดใน กระดาษวิทยาศาสตร์ สามารถลดอุปสรรคในการสร้างแรงบันดาลใจในการค้นหา LLMs โดยนักวิจัย 88 เปอร์เซ็นต์ นี่คือความสำเร็จโดยการหลีกเลี่ยงความต้องการสิ่งที่รายงานการวิจัยอธิบายว่า“ การเปิดตัวบ่อยครั้งอาจเกี่ยวข้องกับคำขอการค้นหานับแสนซึ่งมีค่าใช้จ่าย API จำนวนมากและจำกัดความสามารถในการปรับขนาดได้อย่างรุนแรง”
src=”https://winbuzzer.com/wp-content/uploads/2023/09/alibaba-campus-offericial-alibaba-scaled.jpg”>
การฝึกอบรมที่เพิ่มขึ้นเรื่อย ๆ Alibaba Cloud กล่าวถึงวิธีการ“ เราได้สร้างระบบที่ LLM สามารถพัฒนาทักษะการค้นหาผ่านการจำลองโดยไม่จำเป็นต้องค้นหาการค้นหาในโลกแห่งความเป็นจริงที่ใช้ทรัพยากรอย่างเข้มข้น” พวกเขากล่าวเสริมว่า“ สิ่งนี้ทำให้ AI ขั้นสูงสามารถเข้าถึงได้มากขึ้นสำหรับองค์กรทุกขนาด”
Alibaba ได้เน้นย้ำถึงความมุ่งมั่นในการรับเลี้ยงบุตรบุญธรรมที่กว้างขึ้นโดยการสร้างรหัส Zerosearch, ชุดข้อมูลและโมเดลที่ได้รับการฝึกฝนอย่างเปิดเผย ที่เก็บ และเป็นทางการ Zerosearch Project การฝึกอบรมการใช้งาน
เริ่มต้นด้วยกระบวนการปรับแต่ง (SFT) ที่มีน้ำหนักเบา (SFT) ขั้นตอนเริ่มต้นนี้แปลง LLM เป็น”โมดูลดึง”พิเศษ โมดูลนี้ได้รับการออกแบบมาเพื่อสร้างทั้งเอกสารที่เกี่ยวข้องและที่สำคัญ“ มีเสียงดัง” หรือเอกสารที่ไม่เกี่ยวข้องในการตอบคำถาม
เริ่มต้นด้วยกระบวนการปรับแต่ง (SFT) ที่มีน้ำหนักเบา (SFT) ขั้นตอนเริ่มต้นนี้แปลง LLM เป็น”โมดูลดึง”พิเศษ โมดูลนี้ได้รับการออกแบบมาเพื่อสร้างทั้งเอกสารที่เกี่ยวข้องและที่สำคัญ“ มีเสียงดัง” หรือเอกสารที่ไม่เกี่ยวข้องในการตอบคำถาม
ความเข้าใจที่สำคัญของทีมอาลีบาบาดังที่ได้กล่าวไว้ในกระดาษ Arxiv ของพวกเขา พวกเขาอธิบายเพิ่มเติมว่า“ ความแตกต่างหลักระหว่างเครื่องมือค้นหาจริงและการจำลอง LLM นั้นอยู่ในรูปแบบข้อความของเนื้อหาที่ส่งคืน”
ต่อไปนี้ SFT, Zerosearch ใช้ขั้นตอนการเรียนรู้เสริมแรงโดยใช้กลยุทธ์การเปิดตัว ลดลงเรื่อย ๆ เมื่อเวลาผ่านไปเพื่อจำลองสถานการณ์การดึงข้อมูลที่ท้าทายมากขึ้นเรื่อย ๆ”
การย่อยสลายข้อมูลการย่อยสลายข้อมูลนี้ช่วยให้ AI สามารถใช้กลไกการค้นหาขั้นพื้นฐานและรูปแบบเอาท์พุทแรกได้ ต่อจากนั้นจะเรียนรู้ที่จะนำทางภูมิทัศน์ข้อมูลที่ซับซ้อนและคลุมเครือมากขึ้น การเรียนรู้ของระบบได้รับการชี้นำโดยกลไกการให้รางวัลตามคะแนน F1 โดยมุ่งเน้นไปที่ความแม่นยำของคำตอบที่เกิดจากผลการค้นหาจำลอง
ประสิทธิภาพที่น่าประทับใจและการลดต้นทุนที่น่าทึ่ง
การทดลองที่ครอบคลุมในเจ็ดหลัก ชุดข้อมูลตอบคำถาม ได้แสดงให้เห็นถึงความสามารถของมัน ตามความครอบคลุมของ VentureBeat, 7-billion zerosearch retrieval module href=”https://huggingface.co/sunhaonlp/searchsimulation_14b”target=”_ blank”> 14 พันล้านเวอร์ชันพารามิเตอร์ ที่มีรายงานว่ามีประสิทธิภาพสูงกว่าการค้นหาของ Google หน้าโครงการ Zerosearch ระบุว่า“ เครื่องมือจำลอง 7B ที่ปรับแต่งได้อย่างละเอียด (SFT-7B) บรรลุประสิทธิภาพเทียบเท่ากับการค้นหาของ Google ในขณะที่ตัวแปร 14B (SFT-14B) นั้นเกินกว่านั้นได้” ในการทดสอบมาตรฐาน 7B รุ่นของ Zerosearch ได้คะแนน 33.06 และรุ่น 14B ได้คะแนน 33.97 ซึ่งเกินคะแนนของ Google ที่ 32.47
ข้อได้เปรียบทางการเงินเป็นสิ่งสำคัญของการอุทธรณ์ของ Zerosearch การวิเคราะห์ต้นทุนของทีมอาลีบาบาซึ่งมีรายละเอียดในกระดาษ Arxiv ของพวกเขาแสดงให้เห็นว่าการฝึกอบรมด้วยการค้นหาประมาณ 64,000 ครั้งโดยใช้ การค้นหาของ Google ผ่าน Serpapi มักจะมีค่าใช้จ่ายประมาณ $ 586.70 ในทางตรงกันข้ามการใช้ LLM แบบจำลอง 14b-parameter กับ Zerosearch ใน A100 GPUs สี่ค่าใช้จ่ายเพียง $ 70.80 ซึ่งลดลง 88% ในค่าใช้จ่ายที่เกี่ยวข้องกับ API ประสิทธิภาพต้นทุนนี้เข้ากันได้กับตระกูลรุ่นต่าง ๆ รวมถึง QWEN-2.5 และ LLAMA-3.2 พร้อมทรัพยากรที่มีอยู่ใน การทำให้เป็นประชาธิปไตยขั้นสูง AI และแนวโน้มในอนาคต
ความสามารถของ Zerosearch ในการฝึกอบรมความสามารถในการค้นหาที่มีศักยภาพโดยไม่ต้องพึ่งพา API ของเครื่องมือค้นหาภายนอกโดยตรง มันแสดงถึงอุปสรรคสำคัญสองประการในการพัฒนา LLMS การค้นหา:“ คุณภาพเอกสารที่ไม่สามารถควบคุมได้” และ“ ค่าใช้จ่าย API ที่สูงอย่างห้าม” ที่เกี่ยวข้องกับวิธีการฝึกอบรม RL แบบดั้งเดิมที่ใช้เครื่องมือค้นหาสดตามที่ระบุไว้ การเปิดตัวโอเพนซอร์ซผ่าน GitHub เป็นกุญแจสำคัญสำหรับการมีส่วนร่วมและนวัตกรรมของชุมชนในวงกว้าง ในขณะที่เฟรมเวิร์ก Zerosearch นั้นต้องการทรัพยากร GPU สำหรับการจำลอง LLM ข้อ จำกัด ที่นักวิจัยได้รับการยอมรับในกระดาษของพวกเขา-“การปรับใช้การค้นหาแบบจำลอง LLM นั้นต้องการการเข้าถึงเซิร์ฟเวอร์ GPU นอกจากนั้น Zerosearch ยังแสดงความสามารถพิเศษในการควบคุมคุณภาพของเนื้อหาแบบไดนามิก นวัตกรรมนี้มาถึงท่ามกลางอุตสาหกรรมที่กว้างขึ้นเพื่อเพิ่มประสิทธิภาพและการเข้าถึง LLM ตัวอย่างเช่นเทคนิค DFLOAT11 นำเสนอการบีบอัดแบบไม่สูญเสียสำหรับน้ำหนัก LLM ในขณะที่ NAMM ของ Sakana AI มุ่งเน้นไปที่การเพิ่มประสิทธิภาพหน่วยความจำสำหรับบริบทที่ยาวนาน โมเดล Bamba Hybrid AI ของ IBM เป็นอีกตัวอย่างหนึ่งโดยกำหนดเป้าหมายขีด จำกัด ความเร็วสถาปัตยกรรมของหม้อแปลง Zerosearch แกะสลักเฉพาะของมันโดยการจัดการกับค่าใช้จ่ายในการฝึกอบรมและการควบคุมข้อมูลของ LLM ที่มีความสามารถในการค้นหาซึ่งอาจทำให้เครื่องมือค้นหาแบบดั้งเดิมขาดไม่ได้สำหรับการพัฒนา AI นี้