Des recherches présentées sur le CHI 2025 CONFÉRENCE révèle un modèle curieux dans la façon dont les profanes réagissent aux conseils juridiques: les législateurs humains sont plus prêts
Cette préférence émerge même si les gens démontrent une capacité à faire la différence entre l’IA et le texte écrite par l’homme que le hasard ne le prédirait, suggérant une relation complexe avec une expertise automatisée, comme détaillé dans l’article intitulé «Objection rejetée! Les peuples peuvent distinguer les modèles de langue importants des avocats, mais sont toujours en faveur des conseils d’un LLM». href=”https://dl.acm.org/doi/10.1145/3706598.3713470″Target=”_ Blank”> Résultats découle d’une série de trois expériences impliquant 288 participants. Les chercheurs ont présenté des scénarios juridiques couvrant des problèmes communs tels que le trafic, la planification et le droit immobilier, sur la base de requêtes en ligne du monde réel provenant de plates-formes comme r/légaladviceuk . Ils ont ensuite montré des conseils correspondants des participants générés soit par ChatGPT-4O d’OpenAI, soit par des avocats britanniques spécialisés, mesurant la volonté d’agir ou la confiance dans l’identification de la source.
La découverte de base a émergé de la comparaison des réactions des participants en fonction de savoir s’ils savaient qui a écrit les conseils. Lorsque les participants ignoraient la source (testé dans le groupe «Source inconnu» de l’expérience 1 et confirmés dans l’expérience 2), ils ont systématiquement exprimé une volonté beaucoup plus élevée d’agir sur les conseils du LLM par rapport aux conseils des avocats humains. Cependant, lorsque la source a été explicitement étiquetée comme «LLM» ou «avocat» (groupe «Source connu» de l’expérience 1), cette différence a disparu; Les cotes de volonté d’action sont devenues statistiquement similaires pour les deux sources.
Les chercheurs suggèrent que cette écart pourrait provenir de facteurs sociaux lorsque la source est révélée; Les gens pourraient se sentir obligés d’évaluer les conseils d’un professionnel humain supérieur, se conformant aux attentes perçues que lorsqu’elles sont explicitement conscientes.
Un autre facteur pourrait être les caractéristiques textuelles elles-mêmes. L’étude a noté que si les conseils du LLM étaient généralement plus courts, sa langue enregistrée comme plus complexe basée sur les scores de lisibilité LIX (une mesure où des scores plus élevés indiquent une plus grande difficulté). Le document discute que les LLM pourraient présenter des informations avec un air de confiance, contrastant avec le langage plus prudent et rempli de haies typique des avocats humains concernés par la responsabilité et les nuances.
Distinuisant l’IA, mais en favorisant aveuglément
ajoutant à la complexité, le troisième expérimentation a montré aux participants que les participants ne sont pas complètement incorporés à la source. Chargées de noter la probabilité que chaque conseil devait être Ai-contre l’homme généré par l’homme (lorsqu’il est non marqué), les participants ont permis de mieux que le hasard.
En utilisant l’analyse caractéristique de fonctionnement du récepteur (ROC)-une méthode de la théorie de la détection de signal pour mesurer la discriminabilité indépendamment du biais de réponse-l’étude a mesuré une zone sous la courbe (UC) de 0,59. Une AUC de 0,50 représente les performances fortuites, tandis que 1.0 est une précision parfaite, donc 0,59 indique une capacité authentique, bien que imparfaite, à discerner les différences textuelles.
Cela présente un puzzle: même avec une certaine capacité à détecter la paternité de l’IA, l’inclinaison par défaut lors de l’exploitation «aveugle» semble favoriser la sortie de LLM.
Risques
Cette préférence pour les conseils d’IA potentiellement indétectables est particulièrement pertinent étant donné les problèmes de fiabilité connus qui affligent les LLM actuels. Au fur et à mesure que ces modèles se développent dans des applications de conseils plus sensibles, comme la fonctionnalité de recherche profonde récemment mise à jour d’OpenAI dans Chatgpt, le risque que les utilisateurs agissent sur des informations inexactes augmentent.
Rapports suite à la version à mi-avril 2025 des modèles O3 et O4-MinI d’OpenAI, par exemple, ont indiqué des taux plus élevés d’hallucination. Openai’s Own Données ont montré le modèle O4-Mini 48% du temps sur une référence spécifique (PersonQA).
Recherche explorant pourquoi ces modèles puissants hallucinent plusieurs facteurs potentiels liés à leur formation. Les théories incluent les processus d’apprentissage par renforcement (RL) peut-être récompensant des fabrications convaincantes si elles conduisent à une réponse finale apparemment correcte, les défis pour le renforcement de l’apprentissage de la rétroaction humaine (RLHF) lorsque les évaluateurs humains ne peuvent pas facilement vérifier la précision des étapes de raisonnement intermédiaire complexes, et les modèles qui manquent parfois d’accès à leur propre analyse de raisonnement intermédiaire entre les modèles de conversation. inventer des actions qu’ils ne pouvaient pas effectuer . Comme l’a suggéré le chercheur de TransUlle Neil Chowdhury à TechCrunch, «notre hypothèse est que le type d’apprentissage de renforcement utilisé pour les modèles de la série O peut amplifier les problèmes qui sont généralement atténués (mais pas entièrement effacés) par des pipelines post-formation standard.» Cette toile de fond de non-fiabilité potentielle souligne les préoccupations soulevées par les conclusions du CHI Paper sur la confiance des utilisateurs.
Contexte plus large et à avancer
Les résultats s’inscrivent dans une discussion plus large sur la confiance du public dans l’IA. Alors que l’utilisation augmente, a récemment étude de la recherche de pew Planification médicale ou financière.
L’étude CHI ajoute des nuances, suggérant que cette méfiance pourrait être plus prononcée lorsque l’implication de l’IA est explicite, contrastant avec la préférence trouvée dans le scénario aveugle. La tendance à favoriser les conseils d’IA «aveugles» complique également les efforts pour garantir la responsabilité lorsque les outils d’IA contribuent à l’orientation professionnelle.
Les auteurs de Paper Chi proposent une amélioration de l’alphabétisation d’IA comme un chemin à parcourir, en utilisant peut-être des méthodes de formation développées pour identifier la désinformation. Ils soulignent également l’importance des mesures de transparence, référençant les réglementations comme la loi sur l’IA de l’UE qui oblige l’étiquetage clair du contenu généré par l’AI ( Article 50 ) et les divulgations de risque pour certaines applications. Identifiable, plutôt que d’imiter les experts humains, peut être essentiel pour favoriser plus de confiance des utilisateurs calibrés. Les matériaux d’étude complets, y compris les scripts de données et d’analyse utilisés dans le jpsych / jatos href=”https://osf.io/bksqa/?view_only=8C9A5893FB52478CB755870E56E686CA”Target=”_ Blank”> Open Science Framework .
La découverte de base a émergé de la comparaison des réactions des participants en fonction de savoir s’ils savaient qui a écrit les conseils. Lorsque les participants ignoraient la source (testé dans le groupe «Source inconnu» de l’expérience 1 et confirmés dans l’expérience 2), ils ont systématiquement exprimé une volonté beaucoup plus élevée d’agir sur les conseils du LLM par rapport aux conseils des avocats humains. Cependant, lorsque la source a été explicitement étiquetée comme «LLM» ou «avocat» (groupe «Source connu» de l’expérience 1), cette différence a disparu; Les cotes de volonté d’action sont devenues statistiquement similaires pour les deux sources.
Les chercheurs suggèrent que cette écart pourrait provenir de facteurs sociaux lorsque la source est révélée; Les gens pourraient se sentir obligés d’évaluer les conseils d’un professionnel humain supérieur, se conformant aux attentes perçues que lorsqu’elles sont explicitement conscientes.
Un autre facteur pourrait être les caractéristiques textuelles elles-mêmes. L’étude a noté que si les conseils du LLM étaient généralement plus courts, sa langue enregistrée comme plus complexe basée sur les scores de lisibilité LIX (une mesure où des scores plus élevés indiquent une plus grande difficulté). Le document discute que les LLM pourraient présenter des informations avec un air de confiance, contrastant avec le langage plus prudent et rempli de haies typique des avocats humains concernés par la responsabilité et les nuances.
Distinuisant l’IA, mais en favorisant aveuglément
ajoutant à la complexité, le troisième expérimentation a montré aux participants que les participants ne sont pas complètement incorporés à la source. Chargées de noter la probabilité que chaque conseil devait être Ai-contre l’homme généré par l’homme (lorsqu’il est non marqué), les participants ont permis de mieux que le hasard.
En utilisant l’analyse caractéristique de fonctionnement du récepteur (ROC)-une méthode de la théorie de la détection de signal pour mesurer la discriminabilité indépendamment du biais de réponse-l’étude a mesuré une zone sous la courbe (UC) de 0,59. Une AUC de 0,50 représente les performances fortuites, tandis que 1.0 est une précision parfaite, donc 0,59 indique une capacité authentique, bien que imparfaite, à discerner les différences textuelles.
Cela présente un puzzle: même avec une certaine capacité à détecter la paternité de l’IA, l’inclinaison par défaut lors de l’exploitation «aveugle» semble favoriser la sortie de LLM.
Risques
Cette préférence pour les conseils d’IA potentiellement indétectables est particulièrement pertinent étant donné les problèmes de fiabilité connus qui affligent les LLM actuels. Au fur et à mesure que ces modèles se développent dans des applications de conseils plus sensibles, comme la fonctionnalité de recherche profonde récemment mise à jour d’OpenAI dans Chatgpt, le risque que les utilisateurs agissent sur des informations inexactes augmentent.
Rapports suite à la version à mi-avril 2025 des modèles O3 et O4-MinI d’OpenAI, par exemple, ont indiqué des taux plus élevés d’hallucination. Openai’s Own Données ont montré le modèle O4-Mini 48% du temps sur une référence spécifique (PersonQA).
Recherche explorant pourquoi ces modèles puissants hallucinent plusieurs facteurs potentiels liés à leur formation. Les théories incluent les processus d’apprentissage par renforcement (RL) peut-être récompensant des fabrications convaincantes si elles conduisent à une réponse finale apparemment correcte, les défis pour le renforcement de l’apprentissage de la rétroaction humaine (RLHF) lorsque les évaluateurs humains ne peuvent pas facilement vérifier la précision des étapes de raisonnement intermédiaire complexes, et les modèles qui manquent parfois d’accès à leur propre analyse de raisonnement intermédiaire entre les modèles de conversation. inventer des actions qu’ils ne pouvaient pas effectuer . Comme l’a suggéré le chercheur de TransUlle Neil Chowdhury à TechCrunch, «notre hypothèse est que le type d’apprentissage de renforcement utilisé pour les modèles de la série O peut amplifier les problèmes qui sont généralement atténués (mais pas entièrement effacés) par des pipelines post-formation standard.» Cette toile de fond de non-fiabilité potentielle souligne les préoccupations soulevées par les conclusions du CHI Paper sur la confiance des utilisateurs.
Contexte plus large et à avancer
Les résultats s’inscrivent dans une discussion plus large sur la confiance du public dans l’IA. Alors que l’utilisation augmente, a récemment étude de la recherche de pew Planification médicale ou financière.
L’étude CHI ajoute des nuances, suggérant que cette méfiance pourrait être plus prononcée lorsque l’implication de l’IA est explicite, contrastant avec la préférence trouvée dans le scénario aveugle. La tendance à favoriser les conseils d’IA «aveugles» complique également les efforts pour garantir la responsabilité lorsque les outils d’IA contribuent à l’orientation professionnelle.
Les auteurs de Paper Chi proposent une amélioration de l’alphabétisation d’IA comme un chemin à parcourir, en utilisant peut-être des méthodes de formation développées pour identifier la désinformation. Ils soulignent également l’importance des mesures de transparence, référençant les réglementations comme la loi sur l’IA de l’UE qui oblige l’étiquetage clair du contenu généré par l’AI ( Article 50 ) et les divulgations de risque pour certaines applications. Identifiable, plutôt que d’imiter les experts humains, peut être essentiel pour favoriser plus de confiance des utilisateurs calibrés. Les matériaux d’étude complets, y compris les scripts de données et d’analyse utilisés dans le jpsych / jatos href=”https://osf.io/bksqa/?view_only=8C9A5893FB52478CB755870E56E686CA”Target=”_ Blank”> Open Science Framework .
