Ο νέος βοηθός AI της Υπηρεσίας Τροφίμων και Φαρμάκων των Η.Π.Α.,”Elsa”, που ξεκίνησε τον Ιούνιο για την επανάσταση στις εγκρίσεις ναρκωτικών, κατασκευάζει αντίθετα τις ανύπαρκτες μελέτες και δημιουργεί περισσότερη δουλειά για τους ανθρώπινους αναθεωρητές της. Σύμφωνα με μια έκθεση CNN στις 23 Ιουλίου, το εργαλείο είναι αναξιόπιστο για κρίσιμα καθήκοντα.
Αυτή η αποτυχία στην έδρα του Maryland της FDA έρχεται σε αντίθεση με τον δημόσιο έπαινο της διοίκησης Trump για το AI. Υπογραμμίζει τους σοβαρούς κινδύνους της ανάπτυξης μη αποδεδειγμένης τεχνολογίας σε κυβερνητικούς ρόλους υψηλού σταδίου, ένα πρόβλημα που αντανακλά την τεχνολογική βιομηχανία. Το AI αποκαλύφθηκε με fanfare. Ο γραμματέας του HHS Robert F. Kennedy Jr. δήλωσε:”Η επανάσταση AI έχει φτάσει.”Ωστόσο, πίσω από τις σκηνές, οι υπάλληλοι της FDA δήλωσαν στο CNN ότι η Elsa παραπλανά την έρευνα και απαιτεί συνεχή επαγρύπνηση, υπονομεύοντας το σκοπό της. Μαστημένο από ψευδαισθήσεις
Ο Επίτροπος FDA Dr. Marty Makary υποβαθμίζει τις εσωτερικές ανησυχίες, λέγοντας στους δημοσιογράφους: «Δεν έχω ακούσει αυτές τις συγκεκριμένες ανησυχίες, αλλά είναι προαιρετικά. Αυτή η θέση, ωστόσο, παρακάμπτει το βασικό πρόβλημα της αξιοπιστίας για ένα εργαλείο που εισήχθη για να ενισχύσει την αποτελεσματικότητα και να επιταχύνει τις κριτικές αναθεωρήσεις. είναι πολύ πιο ανησυχητικό. Ένας υπάλληλος περιέγραψε το εργαλείο ως αναξιόπιστο για οποιαδήποτε εργασία που δεν μπορεί να ελέγξει διπλά, δηλώνοντας ότι”παραισθάται με αυτοπεποίθηση”. Ένας άλλος θρήνησε το νέο βάρος, λέγοντας:”Σπατάω πολύ επιπλέον χρόνο μόνο λόγω της αυξημένης επαγρύπνησης που πρέπει να έχω.”
Αυτή η επιπλέον εργασία προέρχεται από τους θεμελιώδεις περιορισμούς της Elsa. Οι υπάλληλοι σημείωσαν ότι δεν μπορεί να έχει πρόσβαση σε πολλά σχετικά έγγραφα, όπως οι εμπιστευτικές υποβολές της βιομηχανίας, καθιστώντας το άχρηστο για το βασικό επιστημονικό έργο της αναθεώρησης των δεδομένων για την ασφάλεια και την αποτελεσματικότητα των ναρκωτικών. Όταν δοκιμάστηκαν με βασικές ερωτήσεις, επέστρεψε λανθασμένες απαντήσεις. Αυτό το φαινόμενο, όπου ένα AI δημιουργεί σίγουρη αλλά εντελώς ψευδή πληροφορία, είναι το κεντρικό ελάττωμα που μαστίζει την τρέχουσα γενιά μοντέλων. Το πρόβλημα δεν είναι μοναδικό για το προσαρμοσμένο εργαλείο του FDA. Ακόμη και τα πιο προηγμένα εμπορικά μοντέλα υποφέρουν από αυτό. Το OpenAi, για παράδειγμα, αποκάλυψε στα δικά του δεδομένα ασφαλείας ότι τα νεότερα μοντέλα O3 και O4-Mini κατασκευάζουν παράδοξη πληροφορίες με υψηλότερο ποσοστό σε ορισμένα σημεία αναφοράς από τους προκατόχους τους. Αυτό επιδεινώνεται όταν ένα μοντέλο δεν μπορεί να έχει πρόσβαση στο δικό του προηγούμενο συλλογισμό, αναγκάζοντάς το να κατασκευάσει περίπλοκες δικαιολογίες όταν ερωτήθηκε για τη διαδικασία του. Ο Δρ Jonathan Chen, καθηγητής του Πανεπιστημίου του Στάνφορντ, περιέγραψε την κατάσταση αμβλύ, προειδοποιώντας:”Είναι πραγματικά το είδος της Άγριας Δύσης αυτή τη στιγμή.
Ένα πρότυπο αποτυχιών υψηλού σταδίου σε όλη τη βιομηχανία
Τα προβλήματα του FDA δεν είναι ένα απομονωμένο περιστατικό. Τον Μάιο του 2025, η νομική ομάδα για την AI εταιρεία Anthropic έπρεπε να ζητήσει συγνώμη μετά την εφευρέτη της CLAUDE AI για μια νομική παραπομπή για δίκη πνευματικών δικαιωμάτων. Ο δικαστής στην υπόθεση σημείωσε τον”κόσμο της διαφοράς ανάμεσα σε μια χαμένη παραπομπή και μια ψευδαίσθηση που δημιουργήθηκε από την AI”. Ένα σφάλμα στο AI του Gmail έχει μεταφράσει λανθασμένα τα γερμανικά μηνύματα ηλεκτρονικού ταχυδρομείου, προκαλώντας σημαντική χειραγώγηση περιεχομένου.
Ο συντάκτης του T-Online, οι οποίοι οι επαναλαμβανόμενες αποτυχίες έχουν οδηγήσει σε κάποιες επιδόσεις με τον πόλεμο από την τεχνολογία. Ως ένας αναλυτής από τα εργαστήρια σάλτσας που σημειώθηκαν μετά το περιστατικό του δρομέα, «η αφήγηση των χρηστών γνωρίζει ότι« αυτή η απάντηση δημιουργήθηκε από το AI »είναι πιθανό να είναι ένα ανεπαρκές μέτρο για την ανάκτηση της αφοσίωσης των χρηστών». Και η πραγματικότητα
Αυτή η σειρά από σφάλματα υψηλού προφίλ αναγκάζει μια ευρύτερη επαναβαθμονόμηση της βιομηχανίας. Μια μελέτη του τηλεφωνικού κέντρου AI διαπίστωσε ότι συχνά δημιούργησε περισσότερη δουλειά για τους ανθρώπινους πράκτορες. Η εταιρεία αναλυτή Gartner ανέτρεψε επίσης μια βασική πρόβλεψη, τώρα Η πρόβλεψη των μισών οργανισμών θα εγκαταλείψει τα σχέδια για την αντικατάσταση του προσωπικού υποστήριξης του ανθρώπου με το AI . Αυτή η ρεαλιστική μετατόπιση αναγνωρίζει τους τρέχοντες περιορισμούς της τεχνολογίας και αντικατοπτρίζει μια αυξανόμενη κατανόηση ότι το κόστος των σφαλμάτων AI μπορεί να αντισταθμίσει τα οφέλη της αυτοματοποίησης. Αυτή η ώθηση για γρήγορη, ανεξέλεγκτη καινοτομία συγκρούεται με την πραγματικότητα της αναξιοπιστίας της τεχνολογίας.
Η εστίαση του σχεδίου στην απομάκρυνση της «γραφειοκρατικής γραφειοκρατίας» και η ακύρωση των προηγούμενων εντολών για τη διαχείριση του κινδύνου του AI θα μπορούσαν να επιταχύνουν την ανάπτυξη εργαλείων όπως η ELSA, παρά τα σαφή στοιχεία των ελαττωμάτων τους. Ο Δρ Jonathan Chen, καθηγητής του Πανεπιστημίου του Στάνφορντ, ο οποίος μελετά την AI σε κλινικά περιβάλλοντα, προειδοποίησε:”Είναι πραγματικά το είδος της Άγριας Δύσης αυτή τη στιγμή. εξέδωσε δήλωση που αναγνωρίζει τις προκλήσεις της χρήσης γενετικών AI. Ωστόσο, το περιστατικό ELSA χρησιμεύει ως ισχυρή, δημόσια προειδοποίηση για τους κινδύνους της πρόωρης ανάπτυξης AI στην κυβέρνηση.