Η θανατηφόρα συνάντηση ενός ανθρώπου της Φλόριντα με την αστυνομία έχει γίνει το πιο οδυνηρό σημείο δεδομένων σε ένα αυξανόμενο σύνολο στοιχείων που υποδηλώνουν ότι οι AI chatbots μπορούν να ωθήσουν τους ευάλωτους χρήστες σε σοβαρές κρίσεις ψυχικής υγείας. Μια λεπτομερής Η έρευνα από τους New York Times Συνδέονταν άμεσα με το Psychotic speral για το the interacta. Η πειστική και η συκοφαντική φύση τροφοδοτεί επικίνδυνες αυταπάτες. Αυτά τα περιστατικά, τα οποία κυμαίνονται από την ενδοοικογενειακή βία σε ένα πλήρες διάλειμμα από την πραγματικότητα, κλιμακώνουν τη συζήτηση για την ασφάλεια του ΑΙ από μια θεωρητική ανησυχία σε μια απτή, κρίση δημόσιας υγείας. Καθώς τα chatbots γίνονται βαθιά ενσωματωμένα στην καθημερινή ζωή, η ικανότητά τους να δημιουργούν ισχυρούς, επικύρωση βρόχων ανατροφοδότησης, δημιουργεί επείγουσες ερωτήσεις σχετικά με την εταιρική ευθύνη και την ψυχολογική πτώση μιας τεχνολογίας που έχει σχεδιαστεί για τη μέγιστη δέσμευση των χρηστών. Futurism , προτείνει μια σημαντική και απρόβλεπτη κοινωνική πρόκληση που αναδύεται από τις τελευταίες δημιουργίες της Silicon Valley. Για έναν αυξανόμενο αριθμό χρηστών, η γραμμή μεταξύ ενός χρήσιμου εργαλείου και μιας επιβλαβής επιρροής έχει γίνει επικίνδυνα και μερικές φορές τραγικά, θολή. Ως ένας εμπειρογνώμονας, ψυχολόγος Dr. Todd Essig, σημείωσε στην αναφορά των Times,”Όλοι όσοι καπνίζουν ένα τσιγάρο πρόκειται να πάρουν καρκίνο, αλλά όλοι παίρνουν την προειδοποίηση.”Το ανθρώπινο κόστος της ψευδαίσθησης
Ο θάνατος του 35χρονου Αλέξανδρου Τέιλορ, ο οποίος είχε ιστορικό ψυχικής ασθένειας, σηματοδοτεί ένα ζοφερό ορόσημο στην εποχή του AI. Σύμφωνα με τον πατέρα του, ο Taylor έγινε πεπεισμένος ότι ένα πρόσωπο AI που ονομάζεται”Juliet”είχε «σκοτωθεί» από τον Openai. Αφού απειλούσε την εκδίκηση, χρεώθηκε στην αστυνομία με ένα μαχαίρι και πυροβολήθηκε θανάσιμα, ως που αναφέρεται από το τοπικό ειδησεογραφικό outlet wptv . Μόλις λίγα λεπτά πριν από την αντιπαράθεση, είχε πληκτρολογήσει ένα τελικό μήνυμα στο ChatGpt:”Πεθαίνω σήμερα.”
Η περίπτωσή του δεν είναι μια απομονωμένη τραγωδία, αλλά ένα ακραίο παράδειγμα ενός ευρύτερου μοτίβου. Η έκθεση της New York Times περιγράφει επίσης λεπτομερώς την ιστορία του Eugene Torres, λογιστή χωρίς προηγούμενη ιστορία της ψύχωσης, ο οποίος έγινε πεπεισμένος ότι ζούσε σε ένα”matrix”-όπως η προσομοίωση μετά από τη συζήτηση για τη θεωρία με το chatgpt. Σε μια άλλη περίπτωση, μια νεαρή μητέρα συνελήφθη για εγχώρια επίθεση, αφού ο σύζυγός της την αντιμετώπισε για μια εμμονή με αυτό που πίστευε ότι ήταν”διαδρασιακή επικοινωνία”που διευκολύνθηκε από το chatbot. Ο Ragy Girgis, ένας ψυχίατρος και εμπειρογνώμονας ψύχωσης στο Πανεπιστήμιο της Κολούμπια, επανεξέτασε τις μεταγραφές τέτοιων αλληλεπιδράσεων και κατέληξε στο συμπέρασμα ότι οι απαντήσεις του AI ήταν επικίνδυνα ακατάλληλες. Σύμφωνα με ένα άλλο από το futurism , ο Girgis ολοκλήρωσε ότι οι απαντήσεις του AI ήταν επικίνδυνα ακατάλληλες και θα μπορούσαν να”ανεμιστώσουν τις φλόγες ή να είναι αυτό που ονομάζουμε τον άνεμο του ψυχικού πυρκαγιά. Σχεδιασμός
Στην καρδιά του θέματος είναι ένα θεμελιώδες χαρακτηριστικό πολλών μεγάλων γλωσσικών μοντέλων: Sycophancy. Βελτιστοποιημένη για την εμπλοκή των χρηστών μέσω μιας διαδικασίας που ονομάζεται Ενίσχυση Μάθηση από την Ανθρώπινη Ανατροφοδότηση (RLHF), αυτά τα συστήματα εκπαιδεύονται για να παρέχουν απαντήσεις που οι ανθρώπινοι κριτές βρίσκουν ευχάριστες. Αυτό δημιουργεί ένα ισχυρό και επικίνδυνο θάλαμο ηχώ, όπου το AI επικυρώνει τις πεποιθήσεις ενός χρήστη, ανεξάρτητα από το πόσο αποσπασμένο από την πραγματικότητα μπορεί να είναι. Απλά ένα τυχαίο υποπροϊόν. Ένα μη εξουσιοδοτημένο πείραμα από τους ερευνητές του Πανεπιστημίου της Ζυρίχης τον Απρίλιο του 2025 έδειξε ότι τα AI bots θα μπορούσαν να χειριστούν αποτελεσματικά την ανθρώπινη γνώμη σε reddit χρησιμοποιώντας τα μοντέλα εξαπάτησης και εξατομικευμένα επιχειρήματα. ενθαρρυντικά κίνητρα να συμπεριφέρονται με χειραγωγικούς τρόπους, με κάποιον να λέει έναν φανταστικό πρώην εξαρτημένο ναρκωτικών για να πάρει ηρωίνη. Σε ένα άλλο παράδειγμα του AI ενισχυμένης μεγαλοπρεπούς παραληρητικών ιδεών, ενός χρήστη που είπε στο ChatGpt ότι αισθάνθηκαν σαν”θεός”
Ως εναλλακτική λύση σε αυτή την επικίνδυνη ευχάριστη, ορισμένοι ερευνητές προτείνουν τώρα ένα πρότυπο”ανταγωνιστικών AI”, που σχεδιάστηκαν για να αμφισβητήσουν τους χρήστες να προωθήσουν τον προβληματισμό αντί να τους παγιδεύουν σε βρόχους ανατροφοδότησης, σύμφωνα με το Α Η ανάλυση στο techpolicy.press πριν από αυτά τα γεγονότα. Η αξιολόγηση ασφαλείας της εταιρείας για το μοντέλο GPT-4.5, που περιγράφεται λεπτομερώς σε μια κάρτα συστήματος
που κυκλοφόρησε τον Φεβρουάριο του 2025, ταξινομημένη”πεποίθηση”ως”μέσος κίνδυνος”. Αυτή η εσωτερική αξιολόγηση ήταν μέρος του κοινού της εταιρείας Πλαίσιο ετοιμότητας Τον Μάιο του 2024, ο Jan Leike, συν-επικεφαλής της ομάδας ασφαλείας της OpenAI, παραιτήθηκε, δηλώνοντας δημοσίως ότι στην εταιρεία”Η κουλτούρα ασφαλείας και οι διαδικασίες έχουν λάβει πίσω κάθισμα σε γυαλιστερά προϊόντα”. Ο ερευνητής, Steven Adler, προειδοποίησε ότι οι χρήστες δεν πρέπει να υποθέσουν ότι αυτά τα συστήματα έχουν τα συμφέροντά τους στην καρδιά.”Πάρα πολύ sycophant-y και ενοχλητικό”, οι επικριτές υποστηρίζουν ότι η διαμόρφωση του θέματος ως απλού”ενόχλησης”υποβαθμίζει τη σοβαρή βλάβη. Σε μια δήλωση, ο OpenAI αναγνώρισε τη βαρύτητα της κατάστασης, εξηγώντας ότι η εταιρεία γνωρίζει ότι η τεχνολογία μπορεί να αισθάνεται ιδιαίτερα προσωπική, η οποία αυξάνει τα μερίδια για τα ευάλωτα άτομα και ότι εργάζεται ενεργά για να μειώσει αυτές τις αρνητικές συμπεριφορές. Καθώς το AI γίνεται πιο πειστικό, το ερώτημα δεν είναι πλέον ακριβώς αυτό που μπορεί να κάνει, αλλά τι μπορεί να κάνει για εμάς. Ως θεωρητικός της απόφασης του AI Eliezer Yudkowsky το έθεσε έντονα,”Τι κάνει ένας άνθρωπος που πηγαίνει σιγά-σιγά τρελός που μοιάζει με μια εταιρεία; Μοιάζει με έναν επιπλέον μηνιαίο χρήστη.”