Anthropic a partagé des détails sur Clio, un outil analytique sophistiqué qui fournit des informations sur la façon dont son assistant Claude AI est utilisé dans des millions de conversations.
Conçu pour relever les défis liés à la compréhension des interactions de l’IA tout en préservant la confidentialité des utilisateurs. , Clio fournit des informations en temps réel qui éclairent les améliorations en matière de sécurité et révèlent les abus potentiels. Alors que l’adoption des systèmes d’IA se développe à l’échelle mondiale, des outils comme Clio montrent comment les laboratoires d’IA tentent d’équilibrer la surveillance éthique et l’innovation.
Un nouveau paradigme pour comprendre les interactions de l’IA
Les systèmes d’IA tels que Claude se sont rapidement intégrés à divers aspects de la vie humaine, effectuant des tâches allant du développement de logiciels à l’éducation. Pourtant, comprendre comment ces systèmes sont utilisés reste difficile en raison des problèmes de confidentialité et de l’énorme volume de données.
Contrairement aux approches traditionnelles reposant sur des risques pré-identifiés, Clio utilise une méthode d’analyse ascendante pour découvrir des modèles et des tendances cachés dans l’utilisation de l’IA. Cet outil représente un changement dans la façon dont les entreprises évaluent l’impact de leurs systèmes d’IA, passant d’une analyse manuelle à des cadres évolutifs et préservant la confidentialité.
Clio utilise le traitement du langage naturel (NLP) et des techniques d’intégration pour extraire les attributs : appelées facettes : à partir des conversations, y compris les sujets, les langues et les types d’interaction.
Image : Anthropic
Ces facettes sont regroupées sémantiquement, avec des conversations similaires regroupées en fonction de la proximité thématique à l’aide d’algorithmes tels que les k-means. Ce processus aboutit à des clusters hiérarchiques, permettant aux analystes de naviguer depuis de grandes catégories vers des sous-thèmes spécifiques. Le résultat est une vue de haut niveau de la manière dont les utilisateurs interagissent avec l’IA sans compromettre les données sensibles.
Connexe : Le nouveau protocole de contexte de modèle d’Anthropic révolutionne la connectivité des données IA
Garanties de confidentialité à chaque étape
Anthropic souligne que la confidentialité fait partie intégrante de la conception de Clio. Le système intègre des protections multicouches pour garantir que les conversations individuelles restent anonymes et non identifiables tout au long de l’analyse.
Les protections de Clio incluent des invites de résumé qui omettent les informations personnelles, des seuils de suppression des clusters petits ou rares et des audits approfondis pour valider les résultats. Ces mesures s’alignent sur la philosophie d’Anthropic en matière de confiance des utilisateurs et de responsabilité en matière de données.
“La protection de la vie privée est intégrée à chaque couche de la conception de Clio”, a déclaré Alex Tamkin, auteur principal du document de recherche de Clio à Platformer. « Le système nous permet de faire apparaître des informations sans compromettre les individus ou les organisations. confidentialité.”
Cette approche rigoureuse a été validée lors des tests, Clio atteignant un taux de précision de 94 % dans la reconstruction des modèles tout en maintenant le respect de la confidentialité. La capacité de l’outil à obtenir des informations exploitables sans exposer d’informations sensibles démontre comment les systèmes d’IA peuvent être gouvernés de manière éthique.
Connexe : Amazon donne 4 milliards de dollars à Anthropic pour devenir le centre de formation en IA de Claude
Principaux aperçus des cas d’utilisation de l’IA
L’analyse effectuée par Clio sur plus d’un million de conversations avec Claude a révélé plusieurs tendances majeures. Le codage de l’IA et le développement de logiciels sont apparus comme les principaux cas d’utilisation, représentant plus de 10 % des interactions. Les utilisateurs recherchaient fréquemment de l’aide pour le débogage, l’exploration des concepts Git et la création d’applications.
L’utilisation éducative était une autre catégorie importante, englobant plus de 7 % des conversations, les enseignants et les élèves utilisant Claude pour les tâches d’apprentissage. Les opérations commerciales, notamment la rédaction d’e-mails et l’analyse des données, représentaient près de 6 % des interactions.
Source : Anthropic
Clio a également mis en lumière des nuances culturelles et contextuelles uniques. Par exemple, les utilisateurs japonais discutent de manière disproportionnée des soins aux personnes âgées, reflétant des intérêts sociétaux spécifiques. Des groupes plus petits ont mis en évidence des utilisations créatives et inattendues, telles que l’interprétation des rêves, la préparation aux catastrophes et le jeu de rôle en tant que Dungeon Masters pour les jeux de table.
« Il s’avère que si vous créez une technologie à usage général et que vous la publiez, les gens y trouvent de nombreuses raisons”, a déclaré Deep Ganguli, qui dirige l’équipe d’impact sociétal d’Anthropic.
[contenu intégré]
Renforcer la sécurité et la confiance
L’une des applications les plus critiques de Clio est sa capacité à améliorer la sécurité en identifiant des modèles d’utilisation abusive. Au cours d’une analyse de routine, Clio a découvert une campagne de spam SEO coordonnée dans laquelle les utilisateurs manipulaient des invites pour générer du contenu optimisé pour la recherche, même si les requêtes individuelles semblaient inoffensives. Le clustering de Clio a révélé leur utilisation abusive collective, permettant à l’équipe de confiance et de sécurité d’Anthropic d’intervenir.
En préparation des élections générales américaines de 2024, Clio a surveillé les interactions de l’IA pour détecter les risques. liés au vote et au contenu politique. Le système a identifié des utilisations bénignes, telles que l’explication des processus électoraux, ainsi que des tentatives d’utilisation abusive de Claude pour générer du matériel de collecte de fonds de campagne.
“Cela montre vraiment que vous pouvez surveiller et comprendre, de manière de manière ascendante, ce qui se passe — tout en préservant la confidentialité des utilisateurs., a déclaré Miles McCain, membre de l’équipe technique d’Anthropic voir les choses avant qu’elles ne deviennent.”Cela vous permet de voir les choses avant qu’elles ne deviennent un problème public.”
Connexe : Les régulateurs britanniques autorisent l’accord anthropique de 2 milliards de dollars d’Alphabet, sans aucune influence significative
Réduire les erreurs dans les classificateurs d’IA
Clio a également affiné les classificateurs de sécurité d’Anthropic en résolvant des problèmes courants tels que les faux positifs et les faux négatifs. les requêtes, telles que les demandeurs d’emploi téléchargeant des CV ou des interactions dans des jeux de rôle, ont été signalées comme nuisibles en raison d’une mauvaise interprétation de leur contenu.
Image : L’analyse d’Anthropic
Clio a permis de recalibrer ces classificateurs, réduisant ainsi les perturbations inutiles pour les utilisateurs tout en maintenant des normes de sécurité rigoureuses, a commenté Alex Tamkin, auteur principal de l’article et chercheur scientifique, à Platformer :
« Vous pouvez utiliser Clio pour surveiller en permanence à un niveau élevé quels types des choses pour lesquelles les gens utilisent cette technologie fondamentalement nouvelle. Vous pouvez signaler tout ce qui semble suspect ou inquiétant à l’équipe de confiance et de sécurité et mettre à jour ces mesures de protection à mesure que la technologie se déploie.”
Connexe : Anthropic demande une réglementation mondiale immédiate de l’IA : 18 Des mois ou il est trop tard
Implications plus larges pour la gouvernance de l’IA
Anthropic considère Clio comme plus qu’un simple outil de sécurité ; considère le système comme un modèle de gouvernance éthique de l’IA. En partageant ouvertement les détails techniques, y compris le coût de Clio de 48,81 $ pour 100 000 conversations analysées, Anthropic vise à favoriser l’adoption à l’échelle de l’industrie d’analyses similaires préservant la confidentialité. Développement de l’IA et responsabilité sociétale.
« En discutant ouvertement de Clio, nous visons à contribuer à des normes positives autour du développement et de l’utilisation responsables de ces outils. » Tamkin a déclaré à Platformer. Clio offre également un aperçu des tendances économiques et culturelles, le positionnant comme un outil essentiel pour comprendre les impacts sociétaux de l’IA.
L’avenir de l’analyse de l’IA préservant la confidentialité
Le succès de Clio met en évidence le potentiel des outils de surveillance de l’IA qui respectent la confidentialité des utilisateurs tout en fournissant des informations exploitables. À mesure que les systèmes d’IA continuent de s’intégrer dans la vie quotidienne, des outils comme Clio joueront un rôle central pour garantir leur utilisation sûre et éthique. En abordant la complexité des applications du monde réel et les risques émergents, Clio d’Anthropic représente un pas en avant dans la façon dont l’IA est comprise, gouvernée et fiable.
