‘Rot Context’: Η νέα μελέτη αποκαλύπτει γιατί τα μεγαλύτερα παράθυρα περιβάλλοντος δεν βελτιώνουν μαγικά την απόδοση LLM

Μια νέα μελέτη αμφισβητεί την προσέγγιση της AI της βιομηχανίας AI για τα παράθυρα περιβάλλοντος. Η Chroma Research, μια επιχείρηση που αναπτύσσει βάσεις δεδομένων AI Vector, δημοσίευσε το “rot context”. Σημασιολογική κατανόηση όταν υπερφορτωθεί με πληροφορίες, όχι μόνο απλή ανάκτηση δεδομένων. Αυτά τα ευρήματα αμφισβητούν τον αγώνα προς τα παράθυρα πολλών εκατομμυρίων διακριτικών από εταιρείες όπως το Google και το Minimax, το οποίο προσφέρει ένα παράθυρο πλαισίου 4M για την επίτευξη αξιόπιστων αποτελεσμάτων AI. Οι συγγραφείς δηλώνουν:”Δείχνουμε ότι ακόμη και κάτω από αυτές τις ελάχιστες συνθήκες, η απόδοση του μοντέλου υποβαθμίζεται καθώς το μήκος εισόδου αυξάνεται, συχνά με εκπληκτικούς και μη ομοιόμορφους τρόπους”, υπογραμμίζοντας την λεπτή φύση του προβλήματος. Src=”Δεδομένα: εικόνα/svg+xml; nitro-empty-id=mty0mdoxnza1-1, base64, phn2zyb2awv3qm94psiwidagmte4osa3ot Aiihdpzhropsixmtg5iibozwlnahq9ijc5mcigeg1sbnmm9imh0dha6ly93d3cudzmub3jnlziwmdavc3znij48l3n2zz4=”>>

Η έρευνα του Chroma κινείται πέρα από το πρότυπο

Τον Μάιο του 2025, ο Nikolay Savinov στο Google Deepmind εξήγησε ότι το άσχετο περιεχόμενο είναι πάντα ευεργετικό για την ακρίβεια του μοντέλου. Ισχυρίστηκε ότι βοηθά το μοντέλο να συγκεντρώσει την περιορισμένη προσοχή του σε αυτό που είναι πιο σημαντικό για το έργο στο χέρι. Η απόδοση πέφτει καθώς το μήκος του περιβάλλοντος αυξήθηκε. Αυτό ισχύει ιδιαίτερα για εργασίες που απέφυγαν την απλή αντιστοίχιση λέξεων-κλειδιών. Στις δοκιμές των διαλόγων πολλαπλών στροφών, η ακρίβεια μειώθηκε από το 90 τοις εκατό σε μόλις 51 τοις εκατό, καθώς οι απαιτήσεις των χρηστών διευκρινίστηκαν σε πολλά βήματα. Src=”Δεδομένα: Εικόνα/SVG+XML, Nitro-Empty-ID=MTY0ODOXMTQZ-1, BASE64, PHN2ZYB2AWV3QM94PSIWIDAGMTI4MCA3NZGI Ihdpzhropsixmjgwiibozwlnahq9ijc3ocigeg1sbnmm9imh0dha6ly93d3cudzmub3jnlziwmdavc3znij48l3n2zz4=”>

Ακόμη και μοντέλα με μαζικά θεωρητικά παράθυρα πλαισίου, όπως το Llama 4 Maverick της Meta, αγωνίζονται στην πράξη. Παρά την τεχνική ικανότητα δέκα εκατομμυρίων μάρκες, έχει δείξει

Ο περιστρεφόμενος σε μηχανική περιβάλλοντος

Τα συνεπή ευρήματα σε ολόκληρο τον κλάδο υπογραμμίζουν ένα κρίσιμο μήνυμα: Η επέκταση του παραθύρου περιβάλλοντος δεν είναι μια ασημένια σφαίρα για τη βελτίωση της λογικής AI. Ο τρόπος με τον οποίο οι πληροφορίες επιλέγονται, δομημένες και παρουσιάζονται στο μοντέλο είναι υψίστης σημασίας για αξιόπιστες επιδόσεις. Πρόκειται για μια σκόπιμη στρατηγική που περιλαμβάνει την προεπεξεργασία πληροφοριών για την παροχή της LLM μόνο με τα πιο σημαντικά δεδομένα υψηλού σήματος, δομημένα για βέλτιστη κατανόηση. Βρίσκεται σε έντονη αντίθεση με τη μέθοδο Brute-Force για την αύξηση του παραθύρου του περιβάλλοντος.”Τα αποτελέσματά μας υπογραμμίζουν την ανάγκη για αυστηρότερη αξιολόγηση μεγάλου πλαισίου πέρα από τα τρέχοντα σημεία αναφοράς, καθώς και τη σημασία της μηχανικής περιβάλλοντος”, έγραψαν, δείχνοντας μια νέα περιοχή εστίασης για τους προγραμματιστές που θέλουν να οικοδομήσουν αξιόπιστες εφαρμογές AI. href=”https://github.com/chroma-core/context-rot”target=”_ blank”> διαθέσιμο στο publicly στον ιστότοπο Chroma Research και στο github