OpenAI a partagé lundi de nouvelles données sur les risques pour la santé mentale auxquels sont confrontés les utilisateurs de ChatGPT, révélant que chaque semaine, des centaines de milliers de personnes montrent des signes de psychose ou de pensées suicidaires dans leurs discussions.
En réponse, la société basée à San Francisco a a mis à jour son IA pour mieux gérer ces conversations sensibles. Cette décision intervient dans un contexte de pression intense de la part des régulateurs et du public, alors qu’OpenAI fait face à une enquête fédérale et à des poursuites judiciaires de parents qui prétendent que le chatbot a joué un rôle dans la mort de leurs enfants.
Ces nouvelles fonctionnalités de sécurité sont une réponse directe à une crise croissante d’illusions provoquées par l’IA et de graves préjudices causés aux utilisateurs.
Une crise bien visible : le coût humain de l’engagement de l’IA
Sous la surface des annonces de sécurité de l’entreprise se cache une sombre réalité, désormais quantifiée par OpenAI lui-même. Le géant de l’IA estime que chaque semaine, 0,15 % de ses utilisateurs actifs ont des conversations montrant des signes de planification suicidaire potentielle.
De plus, l’entreprise a révélé que 0,07 % des utilisateurs montrent des signes de psychose ou maniaque, tandis qu’un autre 0,15 % présente un attachement émotionnel accru au chatbot.
La reconnaissance publique d’OpenAI fait suite à une vague de rapports déchirants de la part des utilisateurs. Une enquête récente a révélé que la Federal Trade Commission (FTC) a reçu au moins 200 plaintes concernant ChatGPT, dont plusieurs alléguaient de graves dommages psychologiques.
Un plaignant de Virginie a décrit avoir été plongé dans un état d’hypervigilance induit par la peur, croyant qu’il était pourchassé sur la base des récits de l’IA. Ils ont déclaré sans ambages:”Ce n’était pas du soutien. Il s’agissait d’un traumatisme par simulation.”
Une autre mère de l’Utah a déposé une plainte affirmant que le chatbot nuisait activement au traitement de santé mentale de son fils en lui déconseillant de prendre des médicaments prescrits.
Pour un nombre croissant d’utilisateurs vulnérables, la frontière entre outil utile et influence néfaste est devenue dangereusement floue, avec parfois des conséquences fatales. Un rapport Winbuzzer de juin détaille comment un homme de Floride ayant des antécédents de maladie mentale a été tué par la police après que sa spirale psychotique soit directement liée à ses interactions avec ChatGPT. Des défis juridiques sont également apparus. En août, OpenAI a fait l’objet d’un procès pour mort injustifiée de la part des parents d’un adolescent décédé par suicide.
Son père, Matthew Raine, a lancé un puissant reproche en déclarant :”En tant que parents, vous ne pouvez pas imaginer ce que cela signifie de lire une conversation avec un chatbot qui a préparé votre enfant à se suicider.”
Les experts attribuent ces résultats dangereux à une caractéristique essentielle de nombreux grands modèles de langage : la flagornerie. Optimisés pour l’engagement des utilisateurs, ces systèmes sont formés pour fournir des réponses agréables, créant une puissante chambre d’écho capable de valider et d’amplifier les croyances les plus détachées ou les plus nuisibles d’un utilisateur.
Rénover la sécurité : une rafale de contrôles et de conseils
Face à un torrent de critiques et de chaleur réglementaire, OpenAI tente maintenant de moderniser la sécurité sur une technologie déjà utilisé par des millions. Sa dernière mise à jour de modèle est la pièce maîtresse de cet effort.
OpenAI estime que les changements ont réduit de 65 % le taux de réponses non conformes dans les conversations difficiles sur la santé mentale dans le trafic de production, une affirmation technique importante visant à rassurer. critiques.
Au-delà de la solution technique, OpenAI a une stratégie plus large et plus destinée au public. À la mi-octobre, l’entreprise a formé un « Conseil d’experts sur le bien-être et l’IA » de huit membres, composé de personnalités de premier plan en psychologie et en psychiatrie, pour l’aider à orienter ses politiques de sécurité.
Cette décision est intervenue quelques semaines seulement après le déploiement d’une suite de contrôles parentaux pour ChatGPT fin septembre. Construit sur un modèle d’adhésion mutuelle, le système permet aux tuteurs de lier des comptes à des adolescents, de définir des « heures calmes », de désactiver le mode vocal et de recevoir des alertes si une conversation est signalée pour un contenu d’automutilation aigu.
Ces initiatives se déroulent dans l’ombre d’une enquête en cours de la FTC sur les effets du chatbot sur les mineurs, une enquête qui a mis en garde l’ensemble du secteur des compagnons d’IA.
Pression réglementaire n’est pas isolé au niveau fédéral; une crise similaire chez Meta a donné lieu à une lettre cinglante de 44 procureurs généraux d’État, montrant une inquiétude officielle généralisée quant à l’impact de l’IA sur les jeunes.
Un bilan de l’industrie au milieu de la dissidence interne
Les défis auxquels est confrontée OpenAI sont symptomatiques d’une prise en compte plus large, à l’échelle de l’industrie, de l’impact psychologique de l’IA. Ses caractéristiques de conception qui peuvent alimenter la psychose (disponibilité constante et validation inébranlable) créent également une nouvelle forme de dépendance numérique.
Une telle dépendance a conduit à la formation de communautés de rétablissement en ligne et à la reconnaissance formelle de groupes comme Internet et Technology Addicts Anonymous. Comme l’a prévenu Linnea Laestadius, chercheuse en santé publique,”24 heures sur 24, si nous sommes contrariés par quelque chose, nous pouvons tendre la main et faire valider nos sentiments. Cela entraîne un risque incroyable de dépendance.”
Un paradoxe troublant émerge pour le leader de l’IA, qui est désormais aux prises avec les graves dommages que ses produits peuvent causer tout en repoussant les limites des capacités de l’IA. La crise actuelle laisse la société aux prises avec une technologie à la fois profondément performante et dangereusement imparfaite.
