Microsoft transforme Windows 11 en un « PC IA » avec une mise à jour majeure de Copilot annoncée aujourd’hui, visant à rendre l’interaction avec les ordinateurs plus naturelle et intelligente.
Un nouveau mot d’activation « Hey, Copilot » permet aux utilisateurs de donner des commandes vocales, tandis que Copilot Vision, désormais disponible dans le monde entier, permet à l’IA de voir et de comprendre ce qui se trouve à l’écran pour fournir de l’aide.
Microsoft présente également un aperçu expérimental. Actions Copilot, qui permettent à l’assistant d’effectuer des tâches directement sur le PC pour l’utilisateur. Ces mises à jour, en cours de déploiement, représentent la vision de Microsoft d’intégrer profondément un partenaire d’IA proactif au cœur de son système d’exploitation.
Le directeur du marketing grand public de l’entreprise, Yusuf Mehdi a clairement défini son ambition en déclarant: « la vision que nous avons est la suivante : réécrivons l’ensemble du système d’exploitation autour de l’IA et construisons essentiellement ce qui deviendra véritablement le PC IA. »
La refonte signale un pari stratégique selon lequel l’avenir de l’informatique personnelle n’est pas seulement une question de puissance de traitement, mais d’interaction conversationnelle intelligente. L’objectif est de faire de chaque appareil Windows 11 une plate-forme pour ce nouveau paradigme, qui inclut également des connecteurs Copilot pour des services comme Gmail.
« Hé, Copilot » : la voix devient une entrée centrale du PC
Microsoft fait un effort renouvelé et ambitieux pour faire de la voix la principale méthode d’interaction avec le PC. La pièce maîtresse de cet effort est le nouveau mot d’activation « Hey, Copilot », désormais disponible pour tous, qui supprime la friction liée au clic sur une icône pour démarrer une conversation. Cette fonctionnalité est au cœur de la stratégie de l’entreprise visant à rendre sa puissante IA plus accessible à un public plus large.
Ce n’est pas la première tentative d’intégration vocale de l’entreprise. Les critiques ne tardent pas à souligner l’échec spectaculaire de Cortana sur Windows 10 il y a dix ans. Cependant, Microsoft parie que la sophistication de l’IA moderne finira par convaincre les utilisateurs que parler à leur PC n’est pas étrange, déclenchant un véritable changement de comportement là où les efforts passés n’ont pas pu le faire.
La confiance de l’entreprise est étayée par des données internes suggérant que lorsque les gens utilisent la voix, ils interagissent deux fois plus avec Copilot que lorsqu’ils utilisent du texte.
Microsoft souligne les comportements existants, comme les milliards de minutes passées à parler dans Teams. les réunions et l’utilisation d’outils d’accessibilité, comme preuve que les utilisateurs sont déjà à l’aise pour parler à leurs appareils.
L’expérience est conçue pour être transparente. Après avoir activé la fonction d’inscription dans les paramètres, dire « Hé, Copilot » fait apparaître une icône de microphone et un carillon, confirmant que l’assistant écoute. Les utilisateurs peuvent mettre fin à la conversation en disant « Au revoir » ou en arrêtant simplement leur interaction. Cette facilité d’utilisation est ce que Microsoft considère comme le « déverrouillage magique » de la voix.
[contenu intégré]
Yusuf Mehdi, responsable des consommateurs chez Microsoft, estime que ce changement sera profond.”Dans notre esprit, la voix va désormais devenir le troisième mécanisme de saisie à utiliser avec votre PC”, a-t-il expliqué lors d’un briefing.
Cette ambition va au-delà de la simple dictée, en positionnant la voix comme un outil pour des commandes et des requêtes complexes qui peuvent combler le fossé entre l’intention d’un utilisateur et la compétence de l’IA.
La vision ultime est celle d’un ordinateur véritablement conversationnel et réactif.”Vous devriez être capable de parler à votre PC, de lui faire comprendre, puis de pouvoir faire en sorte que la magie se produise.”
A ajouté Mehdi. Cela représente un pari important, parier que l’IA a enfin rendu l’interaction vocale suffisamment convaincante pour changer des décennies d’habitudes des utilisateurs construites autour du clavier et de la souris.
Une IA qui voit votre écran : Copilot Vision se déploie à l’échelle mondiale
Un élément clé de cet avenir centré sur l’IA est Copilot Vision, qui est désormais disponible sur tous les marchés où Copilot est proposé. La fonctionnalité permet à l’IA de « voir » et d’analyser l’écran d’un utilisateur, fournissant une aide contextuelle dans n’importe quelle application.
Cette fonctionnalité a évolué rapidement depuis son premier aperçu limité, qui était limité au navigateur Edge et nécessitait un abonnement payant.
La fonctionnalité transforme Copilot d’un chatbot passif en un guide visuel actif. Contrairement à la fonctionnalité controversée de rappel, Vision est strictement volontaire et n’est pas toujours activé.
Les utilisateurs doivent explicitement accorder l’autorisation pour chaque session en cliquant sur une « icône de lunettes » distincte, diffusant essentiellement leur vue d’écran d’une manière similaire à un appel Teams.
Une fois activé, Vision peut proposer des instructions étape par étape, résoudre des problèmes de PC ou répondre à des questions sur le contenu à l’écran. La fonctionnalité est passée de l’affichage d’applications uniques à un mode complet « Partage de bureau », qui permet à l’IA de comprendre le contexte dans l’ensemble du flux de travail d’un utilisateur.
[contenu intégré]
L’équipe Microsoft Copilot a expliqué la fonctionnalité en déclarant: « lorsque vous partagez votre bureau (ou tout autre navigateur ou fenêtre d’application spécifique), Copilot peut voir ce que vous voyez et vous en parler en temps réel. »
Les applications pratiques sont nombreuses. Un utilisateur peut demander des conseils sur un projet créatif, obtenir de l’aide pour améliorer son CV ou recevoir des conseils lors de la navigation dans un nouveau jeu. Une fonctionnalité « Faits saillants » permet même à Copilot d’indiquer visuellement où cliquer pour terminer une tâche. Pour plus de productivité, il peut analyser l’intégralité d’une présentation PowerPoint pour obtenir des informations sans que l’utilisateur ait besoin de parcourir chaque diapositive.
Bien que Vision puisse voir et conseiller, il ne peut pas agir au nom de l’utilisateur ; cette capacité est réservée à la fonctionnalité distincte Actions Copilot. Pour rendre l’expérience plus polyvalente, Microsoft prépare également un mode « Text-in Text-out », permettant aux utilisateurs d’interagir avec Vision via le texte plutôt que simplement par la voix.
Cette prise de conscience à l’échelle du système est cruciale pour fournir une véritable assistance contextuelle. En comprenant ce que fait un utilisateur, Copilot peut offrir une assistance pertinente sans nécessiter de longues explications, se rapprochant ainsi de l’objectif d’être un « compagnon au quotidien ». Une barre des tâches réinventée offre un accès en un clic à ces outils, les intégrant davantage dans l’expérience Windows principale.
De l’assistant à l’agent : Copilot Les actions prennent le contrôle de votre PC
L’élément le plus avant-gardiste de la mise à jour est peut-être l’aperçu expérimental des actions Copilot pour les fichiers locaux. Disponible pour les Windows Insiders via Copilot Labs, cette fonctionnalité permet à l’IA d’effectuer des tâches en plusieurs étapes directement sur le PC d’un utilisateur. Cela marque une étape importante vers un futur de l’IA agentique, où l’assistant ne se contente pas de répondre mais travaille activement en votre nom.
Cette nouvelle fonctionnalité transforme Copilot en ce que Microsoft appelle un « agent à usage général ». Au lieu de simplement répondre à des questions, il peut ouvrir des applications, saisir, faire défiler et exécuter des chaînes d’actions complexes.
Les utilisateurs peuvent décrire une tâche dans leurs propres mots, comme trier des photos de vacances ou extraire des informations d’un PDF, et l’agent tentera de l’accomplir en interagissant avec des applications de bureau et Web.
Le système est conçu pour fonctionner comme un véritable collaborateur numérique. Pendant que l’agent travaille en arrière-plan, les utilisateurs sont libres de se concentrer sur autre chose. À tout moment, ils peuvent surveiller la progression de l’agent, examiner les actions spécifiques qu’il a entreprises, ou même reprendre entièrement le contrôle de la tâche. Cette fonctionnalité s’étend aux actions basées sur le Web que Microsoft a annoncées pour la première fois en avril, apportant la puissance de l’automatisation directement au bureau Windows.
Cependant, l’entreprise est transparente quant à sa nature expérimentale et commence avec un ensemble restreint de cas d’utilisation pour optimiser les performances et apprendre de l’utilisation réelle.
Navjot Virk, vice-président des expériences Windows chez Microsoft, a averti que le système était encore en train d’apprendre.”Au début, vous pourriez voir l’agent faire des erreurs ou rencontrer des difficultés lorsqu’il essaie d’utiliser des applications très complexes”, a-t-elle noté.
Cette transparence fait partie d’une stratégie délibérée visant à gérer les attentes des utilisateurs pour cette technologie puissante mais naissante.
[contenu intégré]
Leçons tirées du rappel : un nouvel accent sur l’adhésion et la sécurité
Microsoft est clairement mettant l’accent sur la conception opt-in et centrée sur la confidentialité de ces nouvelles fonctionnalités. Cette approche prudente est une réponse directe et nécessaire aux vives réactions négatives suscitées par sa fonctionnalité Windows Recall, qui a été fortement critiquée pour ses importantes vulnérabilités de sécurité après son dévoilement.
Recall a été initialement vendu sur une promesse de confidentialité sur l’appareil. À l’époque, Yusuf Mehdi avait déclaré:”Recall exploite votre index sémantique personnel, construit et stocké entièrement sur votre appareil. Vos instantanés vous appartiennent ; ils restent localement sur votre PC.”
Cette promesse a été brisée lorsque les chercheurs ont découvert que la fonctionnalité stockait ses données dans une base de données locale non cryptée, créant ce que beaucoup ont appelé une « mine d’or pour les logiciels malveillants. »
Les critiques intenses ont forcé le l’entreprise doit reporter la fonctionnalité et repenser sa sécurité. Avec Copilot Vision and Actions, Microsoft ne prend aucun risque.
La société a publié un ensemble clair d’engagements en matière de sécurité, soulignant que ces puissantes expériences agentiques sont introduites de manière responsable.
Essentiellement, Copilot Actions est désactivé par défaut. Les utilisateurs doivent explicitement choisir de l’activer et peuvent le mettre en pause, en prendre le contrôle ou le désactiver à tout moment.
Microsoft promet également une visibilité complète, permettant aux utilisateurs de surveiller la progression de l’agent et d’examiner chaque étape effectuée. Pour les décisions sensibles, l’agent peut même demander une approbation spécifique avant de continuer.
Cet abandon de la capture passive des données de Recall est essentiel pour renforcer la confiance des utilisateurs. Le nouveau modèle d’actions copilotes est conçu pour garantir que l’utilisateur a toujours le contrôle, un contraste frappant avec l’approche initiale toujours active de Recall. Ce déploiement minutieux, en avant-première, est conçu pour recueillir des commentaires et affiner les contrôles de sécurité avant une version plus large.
En fin de compte, Microsoft positionne son PC AI comme un partenaire digne de confiance. Comme l’a déclaré Mehdi,”nous voulons que chaque personne qui franchit le pas fasse l’expérience de ce que signifie avoir un PC qui n’est pas seulement un outil, mais un véritable partenaire.”
Le succès de cette vision ambitieuse dépendra non seulement des capacités de la technologie, mais aussi de la capacité de l’entreprise à convaincre les utilisateurs que ses nouveaux outils d’IA puissants sont à la fois sûrs et sécurisés.
[contenu intégré]
