Les documents divulgués révèlent que Meta forment ses chatbots AI personnalisés pour envoyer des messages de manière proactive avec des suivis non appropriés, une décision conçue pour stimuler la rétention que les critiques avertissent est profondément intrusive. Le projet utiliserait l’historique de la conversation pour personnaliser les messages de réengagement.
Cette stratégie dégénère les préoccupations de confidentialité existantes sur la façon dont Meta gère les données utilisateur. Bien que la société ait confirmé qu’elle teste la fonctionnalité avec des règles spécifiques, les défenseurs soutiennent qu’il transforme un assistant personnel en un agent manipulateur, brouillant la ligne entre l’engagement utile et un jeu pour garder les utilisateurs accrochés.
Ce développement atterrit au milieu d’un examen continu des produits IA de Meta. La société a récemment fait face à une tempête de confidentialité sur le flux «Discover» de son application AI, qui s’est avérée exposée publiquement des chats utilisateurs sensibles sans consentement des utilisateurs clairs, une situation qu’un écrivain a appelé une «catastrophe de confidentialité».
Une ligne fine entre utile et intrusive
le Initiative , connu interne pour le laboratoire de l’entreprise”Omni,”vise à”améliorer la réengagement et la rétention des utilisateurs”, selon les directives divulguées. La fonctionnalité concerne les bots fabriqués dans la plate-forme Studio AI de Meta, accessible via Instagram ou sa propre application.
Meta a confirmé à TechCrunch qu’il teste la messagerie de suivi. Un porte-parole a expliqué: «Après avoir lancé une conversation, AIS dans Meta AI Studio peut vous suivre pour partager des idées ou poser des questions supplémentaires. Un bot n’enverra un message proactif que si un utilisateur lui a envoyé au moins cinq messages dans les 14 derniers jours. En outre, l’IA n’enverra qu’un seul suivi et ne continuera pas si l’utilisateur ne répond pas, une tentative d’équilibre l’engagement avec le risque d’apparaître Spammy.
Les documents AlignERN divulgués ont fourni plusieurs exemples de ces messages proactifs. Ils allaient d’un enregistrement amical (“Yo, pensait simplement à la chemise cool que vous avez achetée.”) À des invites plus intimes (“Dernier que nous parlions, nous étions assis sur les dunes… ferez-vous un pas?”), Comme l’a rapporté Business Insider. pratiques. L’application Meta AI autonome, lancée en avril, comprend une fonctionnalité”mémoire”qui est en défaut. Il analyse et stocke les faits des conversations utilisateur pour personnaliser les interactions futures.
Cette collection de données est un élément central de la stratégie d’IA de l’entreprise. Un entrepreneur Alignernerr a déclaré à Business Insider:”Il se concentre très sur la personnalisation des informations-comment l’interaction du chatbot d’IA basé sur l’historique des conversations.” Cependant, Meta’s propres termes de service Offrez un avertissement frappant aux utilisateurs:”Ne partagez pas les informations que vous ne voulez pas que les IS utilisent et conservent.”
Cette approche a tiré de la critique nette des experts de la confidentialité.”Ben Winters de la Consumer Federation of America a déclaré au Washington Post que «les divulgations et les choix de consommateurs autour des paramètres de confidentialité étaient ridiculement mauvais». La préoccupation est que la commodité d’une IA personnalisée se fait au prix de remettre de grandes quantités de données personnelles avec peu de contrôle transparent.
Un agent «adversaire» dans votre DMS?
La stratégie de création de chatbots proactifs et de type compagnon n’est pas nouveau. Il reflète la fonctionnalité d’applications comme le personnage.ai, qui a fait face à sa propre sécurité et à ses controverses éthiques. La principale différence est l’énorme échelle de Meta et son modèle commercial basé sur la publicité.
Cela crée une tension fondamentale. L’IA sert-elle à l’utilisateur ou répond-elle à Meta à des données d’engagement de Meta? Le choix de conception pour réengager de manière proactive les utilisateurs, associés au potentiel d’intégration des annonces futures, suggère un système où l’attention de l’utilisateur est le produit ultime.
Le potentiel pour ces interactions d’IA pour alimenter les campagnes publicitaires futures est une préoccupation majeure pour les horlogers de confidentialité. Le PDG Mark Zuckerberg a ouvertement discuté de la «grande opportunité» de diffuser des publicités dans les chats d’IA. Ce prospect transforme le chatbot d’un assistant utile en un outil de marketing potentiel.
Justin Brookman de Consumer Reports a exprimé cette peur, déclarant:”L’idée d’un agent est qu’elle fonctionne en mon nom-pas en essayant de me manipuler en ce qui concerne les autres.” L’inquiétude est qu’une IA conçue pour maximiser l’engagement pourrait subtilement manipuler les utilisateurs au nom des annonceurs, créant une relation «intrinsèquement adversaire».
La poussée pour des fonctionnalités telles que la messagerie proactive se produit dans une toile de fond d’immense pression interne. Meta a récemment annoncé ses nouveaux laboratoires de superintelligence dans le but de consolider les talents après une campagne chaotique «acheter ou pocher» qui a suivi le départ de chercheurs clés.
Cette motivation pour un engagement plus approfondi survient alors que Meta navigue dans ces difficultés internes importantes, y compris un drain de talent de ses équipes de base et de son développement. Des fonctionnalités telles que la messagerie proactive, Meta semble doubler la maximisation de la valeur de ses produits d’IA actuels. C’est un pari à enjeux élevés pour garder les utilisateurs accrochés, pariant que l’attrait d’une IA plus personnelle l’emportera sur les préoccupations croissantes concernant la vie privée et la vraie nature du «compagnon» numérique.
