Οι ερευνητές της Alibaba έχουν εισαγάγει το Zerosearch, ένα πρωτοποριακό πλαίσιο που έχει οριστεί για να επαναπροσδιορίσει πόσο μεγάλα μοντέλα γλωσσών (LLMS) αποκτούν δεξιότητες ανάκτησης πληροφοριών. Αυτό το νέο σύστημα εκπαιδεύει το AI για την προσομοίωση των αλληλεπιδράσεων μηχανών αναζήτησης, μαθαίνοντας αποτελεσματικά την «Google» χωρίς την έντονη τιμή των ζωντανών εμπορικών κλήσεων API. Η εξέλιξη, που περιγράφεται λεπτομερώς σε ένα επιστημονικό χαρτί. LLMS από ένα συγκλονιστικό 88 %, σύμφωνα με τους ερευνητές. Αυτό επιτυγχάνεται με την παραίτηση από την ανάγκη για το τι περιγράφει το ερευνητικό έγγραφο ως”συχνές αναπτυσσόμενες, ενδεχομένως που περιλαμβάνει εκατοντάδες χιλιάδες αιτήματα αναζήτησης, τα οποία προκαλούν σημαντικά έξοδα API και περιορίζουν σοβαρά την επεκτασιμότητα.”src=”https://winbuzzer.com/wp-content/uploads/2023/09/alibaba-campus-official-alibaba-caled.jpg”> Η Alibaba Cloud δήλωσε για την προσέγγιση:”Δημιουργήσαμε ένα σύστημα όπου το LLMS μπορεί να αναπτύξει δεξιότητες αναζήτησης μέσω προσομοίωσης, εξαλείφοντας την ανάγκη για αναζητήσεις πραγματικού κόσμου με ένταση πόρων”. Πρόσθεσαν:”Αυτό καθιστά το Advanced AI πιο προσιτό σε οργανισμούς όλων των μεγεθών”. και ο επίσημος zerosearch σελίδα , η ευρύτερη υιοθεσία και η περαιτέρω έρευνα. διαδικασία ρύθμισης (SFT). Αυτό το αρχικό βήμα μετατρέπει ένα LLM σε μια εξειδικευμένη”μονάδα ανάκτησης”. Αυτή η ενότητα έχει σχεδιαστεί για να παράγει τόσο τα σχετικά έγγραφα και, κυρίως,”θορυβώδη”ή άσχετα έγγραφα σε απάντηση σε ένα ερώτημα. Επιπλέον, επεξεργάζονται ότι η «πρωταρχική διαφορά μεταξύ μιας πραγματικής μηχανής αναζήτησης και μιας προσομοίωσης LLM έγκειται στο κειμενικό στυλ του επιστρεφόμενου περιεχομένου». Σταδιακά υποβαθμίζεται με την πάροδο του χρόνου για να προσομοιώσει ολοένα και πιο προκλητικά σενάρια ανάκτησης.”
Αυτή η ελεγχόμενη αποικοδόμηση της ποιότητας των πληροφοριών επιτρέπει στο AI να κάνει πρώτα master βασικούς μηχανικούς αναζήτησης και μορφές εξόδου. Στη συνέχεια, μαθαίνει να περιηγείται σε πιο περίπλοκα και διφορούμενα τοπία πληροφοριών. Η εκμάθηση του συστήματος καθοδηγείται από έναν μηχανισμό ανταμοιβής που βασίζεται σε μια βαθμολογία F1, εστιάζοντας στην ακρίβεια των απαντήσεων που προκύπτουν από τα προσομοιωμένα αποτελέσματα αναζήτησης. Περιεκτικά πειράματα σε επτά μεγάλες DATASETS-dering Σύμφωνα με την κάλυψη του VentureBeat, ένα 7 δισεκατομμύρια παράμετρος zerosearch module href=”https://huggingface.co/sunhaonlp/searchsimulation_14b”target=”_ blank”> Έκδοση παραμέτρων 14 δισεκατομμυρίων Η ίδια η σελίδα του έργου Zerosearch δηλώνει ότι”η μηχανή προσομοίωσης 7B (SFT-7B) επιτυγχάνει απόδοση συγκρίσιμη με εκείνη της αναζήτησης Google, ενώ η παραλλαγή 14B (SFT-14B) το ξεπερνά”. Στις δοκιμές αναφοράς, το μοντέλο 7B της Zerosearch σημείωσε το 33,06 και το μοντέλο 14B σημείωσε 33,97, και τα δύο ξεπέρασαν τη βαθμολογία της Google 32,47. Η ανάλυση κόστους της ομάδας Alibaba, που περιγράφεται λεπτομερώς στο χαρτί ARXIV, δείχνει ότι η κατάρτιση με περίπου 64.000 ερωτήματα αναζήτησης χρησιμοποιώντας Google Search μέσω SERPAPI θα κοστίσει συνήθως περίπου $ 586.70. Αντίθετα, η χρήση προσομοίωσης LLM 14B παραμέτρων με Zerosearch σε τέσσερις A100 GPUs κοστίζει μόνο 70,80 δολάρια-μια μείωση κατά 88% των δαπανών που σχετίζονται με το API. This cost-efficiency is compatible with various model families, including Qwen-2.5 and LLaMA-3.2, with resources available on Hugging Face.
Δημοκρατικότητα Προχωρημένο AI και μελλοντικές προοπτικές
Η ικανότητα του Zerosearch να εκπαιδεύει ισχυρές δυνατότητες αναζήτησης χωρίς άμεση εξάρτηση από τα εξωτερικά API μηχανών αναζήτησης παρουσιάζει σημαντική μετατόπιση. Απευθύνεται άμεσα σε δύο σημαντικά εμπόδια στην ανάπτυξη LLMS που έχουν αναζητηθεί από την αναζήτηση: η”ανεξέλεγκτη ποιότητα του εγγράφου”και το”απαγορευτικά υψηλό κόστος API”που συνδέονται με τις παραδοσιακές μεθόδους κατάρτισης που χρησιμοποιούν πιο ζωντανές μηχανές αναζήτησης, όπως περιγράφονται στην αφαίρεση του έργου. Η απελευθέρωση ανοιχτού κώδικα μέσω του GitHub είναι το κλειδί για την ευρύτερη εμπλοκή και την καινοτομία της κοινότητας. Ενώ το ίδιο το πλαίσιο zerosearch απαιτεί πόρους GPU για την προσομοίωση LLM, ένας περιορισμός που αναγνωρίζεται από τους ερευνητές στο έγγραφό τους-“Η ανάπτυξη της συνολικής μείωσης της αναζήτησης και της εξάρτησης απαιτεί ουσιαστική πρόσβαση σε διακομιστές GPU. Εκτός αυτού, η Zerosearch δείχνει επίσης μια μοναδική ικανότητα να ελέγχει δυναμικά την ποιότητα του περιεχομένου. Για παράδειγμα, η τεχνική DFLOAT11 προσφέρει συμπίεση χωρίς απώλειες για βάρη LLM, ενώ η NAMMS του Sakana AI επικεντρώνεται στη βελτιστοποίηση της μνήμης για μεγάλα πλαίσια. Το μοντέλο BAMBA Hybrid AI της IBM είναι ένα άλλο παράδειγμα, στοχεύοντας στα όρια της αρχιτεκτονικής ταχύτητας των μετασχηματιστών. Η ZeroSearch χαράζει τη θέση του, αντιμετωπίζοντας ειδικά το κόστος εκπαίδευσης και τον έλεγχο των δεδομένων του κτιρίου LLMs με δυνατότητα αναζήτησης, ενδεχομένως καθιστώντας τις παραδοσιακές μηχανές αναζήτησης λιγότερο απαραίτητες για αυτή την πτυχή της ανάπτυξης AI.
