Έρευνα που παρουσιάστηκε στο chi 2025 conference αποκαλύπτει ένα περίεργο πρότυπο για το πώς οι λαϊκοί αντιδρούν με τις νομικές συμβουλές: αναφέρουν ότι είναι πιο πρόθυμοι να δράσουν από την καθοδήγηση από τα μοντέλα μεγάλης γλώσσας (LLMS) όπως το chatgpt παρά από τους ανθρώπινους νομοθέτες, αλλά αυτό προτιμούν, αλλά δεν προτιμούν το chatgpt. Αναδύεται, παρόλο που οι άνθρωποι επιδεικνύουν την ικανότητα να διαφοροποιούν το AI και το ανθρώπινο γραπτό κείμενο καλύτερα από την τύχη να προβλέπουν, υποδηλώνοντας μια πολύπλοκη σχέση με την αυτοματοποιημένη εμπειρογνωμοσύνη, όπως περιγράφεται λεπτομερώς στο έγγραφο με τίτλο”Η αντίρρηση που αναβοσβήνει! href=”https://dl.acm.org/doi/10.1145/3706598.3713470″target=”_ blank”> ευρήματα που προέρχονται από μια σειρά από τρία πειράματα που περιλαμβάνουν 288 συμμετέχοντες. Οι ερευνητές παρουσίασαν νομικά σενάρια που καλύπτουν κοινά ζητήματα όπως η κυκλοφορία, ο σχεδιασμός και ο νόμος περί ιδιοκτησίας, με βάση τα online ερωτήματα που προέρχονται από πλατφόρμες όπως reddit’s r/lectoradviceuk . Στη συνέχεια, έδειξαν συμμετέχοντες που δημιουργήθηκαν είτε από το ChatGPT-4O του OpenAI είτε από εξειδικευμένους δικηγόρους του Ηνωμένου Βασιλείου, μετρώντας την προθυμία να ενεργήσουν ή να εμπιστευτούν τον εντοπισμό της πηγής. Εξαρτάται από τη γνώση της πηγής
Το βασικό εύρημα προέκυψε από τη σύγκριση των αντιδράσεων των συμμετεχόντων με βάση το αν ήξεραν ποιος έγραψε τις συμβουλές. Όταν οι συμμετέχοντες αγνοούσαν την πηγή (δοκιμάστηκαν στην ομάδα «άγνωστης πηγής» του Πειράματος 1 και επιβεβαιώθηκαν στο Πείραμα 2), εξέφρασαν σταθερά μια σημαντικά υψηλότερη προθυμία να δράσουν στις συμβουλές της LLM σε σύγκριση με τις συμβουλές των ανθρώπινων δικηγόρων. Ωστόσο, όταν η πηγή χαρακτηρίστηκε ρητά ως «LLM» ή «δικηγόρος» («γνωστή» ομάδα πηγής του πειράματος 1), αυτή η διαφορά εξαφανίστηκε. Οι αξιολογήσεις προθυμίας προς δράση έγιναν στατιστικά παρόμοιες και για τις δύο πηγές. Οι άνθρωποι ενδέχεται να αισθάνονται υποχρεωμένοι να αξιολογήσουν τις συμβουλές από έναν ανθρώπινο επαγγελματία υψηλότερο, σύμφωνα με τις αντιληπτές προσδοκίες μόνο όταν έγιναν ρητά ενήμεροι. Η μελέτη σημείωσε ότι ενώ οι συμβουλές της LLM ήταν γενικά μικρότερες, η γλώσσα της καταχώρησε ως πιο περίπλοκη με βάση τις βαθμολογίες αναγνωσιμότητας LIX (ένα μέτρο όπου υψηλότερες βαθμολογίες υποδεικνύουν μεγαλύτερη δυσκολία). Το έγγραφο συζητά ότι το LLMS μπορεί να παρουσιάζει πληροφορίες με αέρα εμπιστοσύνης, σε αντίθεση με την πιο προσεκτική, γεμάτη με αντιστάθμιση γλώσσα που είναι χαρακτηριστική για τους ανθρώπινους δικηγόρους που ασχολούνται με την ευθύνη και την απόχρωση. Εργάστηκε με την αξιολόγηση του πόσο πιθανό ήταν κάθε συμβουλή να είναι η AI-versus που δημιουργήθηκε από τον άνθρωπο (όταν δεν έχει επισημανθεί), οι συμμετέχοντες εκτελούσαν σημαντικά καλύτερη από την τύχη (AUC) του 0,59. Μια AUC 0,50 αντιπροσωπεύει την τυχαία απόδοση, ενώ το 1,0 είναι τέλεια ακρίβεια, έτσι 0,59 δείχνει μια γνήσια, αν και ατελής, ικανότητα να διακρίνει τις διαφορές κειμένου. Κίνδυνοι
Αυτή η προτίμηση για ενδεχομένως μη ανιχνεύσιμες συμβουλές AI είναι ιδιαίτερα σημαντική, δεδομένων των γνωστών ζητημάτων αξιοπιστίας που μαστίζουν τα τρέχοντα LLMS. Καθώς αυτά τα μοντέλα επεκτείνονται σε πιο ευαίσθητες εφαρμογές συμβουλών, όπως η πρόσφατα ενημερωμένη βαθιά ερευνητική λειτουργία του OpenAI στο ChatGPT, ο κίνδυνος των χρηστών που δρουν σε ανακριβείς πληροφορίες αυξάνονται. Το OpenAi’s ίδιο Τα δεδομένα έδειξαν το μοντέλο O4-Mini Το 48% του χρόνου σε ένα συγκεκριμένο σημείο αναφοράς (personqa). Οι θεωρίες περιλαμβάνουν τις διαδικασίες ενισχυτικής μάθησης (RL) ενδεχομένως να ανταμείβουν πειστικές κατασκευές εάν οδηγούν σε μια φαινομενικά σωστή τελική απάντηση, οι προκλήσεις για την ενίσχυση της μάχης από την ανθρώπινη ανατροφοδότηση (RLHF) όταν οι ανθρώπινοι βαθμολογητές δεν μπορούν εύκολα να επαληθεύσουν την ακρίβεια της πολύπλοκης ενδιάμεσης λογικής βήματα και τα μοντέλα που μερικές φορές στερούνται πρόσβασης στη δική τους βήμα-βήμα για τη διαδρομή μεταξύ των ατόμων με μεταφράσεις με μεταφράσεις με μεταφράσεις με μεταφράσεις προ-στροφής. O3 Μοντέλα Ενέργειες εφευρέσεως που δεν μπορούσαν να εκτελέσουν . Όπως πρότεινε ο ερευνητής Neil Chowdhury στην TechCrunch,”η υπόθεσή μας είναι ότι το είδος της μάθησης ενίσχυσης που χρησιμοποιείται για τα μοντέλα της σειράς Ο μπορεί να ενισχύει ζητήματα που συνήθως μετριάζονται (αλλά δεν έχουν διαγραφεί πλήρως) από τους τυπικούς αγωγούς μετά την κατάρτιση”. Αυτό το πλαίσιο πιθανής αναξιοπιστίας υπογραμμίζει τις ανησυχίες που εγείρονται από τα ευρήματα του χαρτιού Chi σχετικά με την εμπιστοσύνη των χρηστών. Ενώ η χρήση μεγαλώνει, Η καθοδήγηση όπως ο ιατρικός ή ο οικονομικός σχεδιασμός. Η τάση να ευνοούν τις «τυφλές» συμβουλές AI περιπλέκουν επίσης τις προσπάθειες για τη διασφάλιση της λογοδοσίας όταν τα εργαλεία AI συμβάλλουν στην επαγγελματική καθοδήγηση. Επισημαίνουν επίσης τη σημασία των μέτρων διαφάνειας, αναφέροντας τους κανονισμούς όπως η πράξη της ΕΕ AI που επιβάλλουν σαφή επισήμανση του περιεχομένου που δημιουργείται από το AI ( άρθρο 50 ). Τα αναγνωρίσιμα, αντί να μιμούνται τους ανθρώπινους εμπειρογνώμονες, μπορεί να είναι το κλειδί για την προώθηση της πιο βαθμονομημένης εμπιστοσύνης των χρηστών. Τα πλήρη υλικά μελέτης, συμπεριλαμβανομένων των σεναρίων δεδομένων και ανάλυσης που χρησιμοποιούνται στο
