微軟今天宣布推出重大 Copilot 更新，將 Windows 11 轉變為“AI PC”，旨在使與計算機的交互更加自然和智能。
新的“嘿，Copilot”喚醒詞允許用戶發出語音命令，而現在全球可用的 Copilot Vision 讓人工智能看到並理解屏幕上的內容以提供幫助。
微軟還預覽了實驗性 Copilot 操作，使助手能夠直接在 PC 上為用戶執行任務。這些現已推出的更新代表了微軟將積極主動的人工智能合作夥伴深深嵌入其操作系統核心的願景。
該公司的消費者首席營銷官， Yusuf Mehdi 明確闡述了這一雄心壯志，他表示，“我們的願景是:讓我們圍繞人工智能重寫整個操作系統，並構建真正的人工智能 PC。”
這次徹底改革標誌著一個戰略賭注，即個人計算的未來不僅關乎處理能力，還關乎智能、對話交互。我們的目標是讓每台 Windows 11 設備都成為這種新範例的平台，其中還包括用於 Gmail 等服務的 Copilot 連接器。
“嘿，Copilot”:語音成為核心 PC 輸入
微軟正在雄心勃勃地重新推動語音成為 PC 交互的主要方法。這項工作的核心是新的“嘿，副駕駛”喚醒詞，現已普遍可用，它消除了單擊圖標開始對話的麻煩。該功能是該公司戰略的核心，旨在讓更廣泛的受眾更容易地使用其強大的人工智能。
這並不是該公司第一次嘗試語音集成。批評者很快指出，十年前 Windows 10 上的 Cortana 遭遇了巨大的失敗。然而，微軟相信，現代人工智能的複雜性最終將讓用戶相信與電腦交談並不奇怪，從而引發過去的努力無法實現的行為真正改變。
該公司的信心得到了內部數據的支持，該數據表明，當人們使用語音時，他們與 Copilot 的互動程度是使用文本時的兩倍。
微軟指出了現有的行為，例如在 Teams 會議中花費數十億分鐘的通話時間和 使用輔助工具，作為用戶已經能夠輕鬆地與其設備交談的證據。
體驗的設計是無縫的。在設置中啟用選擇加入功能後，說“嘿，副駕駛”會出現麥克風圖標和鈴聲，確認助手正在收聽。用戶可以通過說“再見”或簡單地停止交互來結束對話。微軟認為這種易用性是語音的“神奇解鎖”。
[嵌入內容]
微軟消費者業務負責人 Yusuf Mehdi 認為這種轉變將是意義深遠的。 “在我們看來，語音現在將成為 PC 上使用的第三種輸入機制，”他在簡報中解釋道。
這一目標超越了簡單的聽寫，將語音定位為複雜命令和查詢的工具，可以彌合用戶意圖與人工智能提示技能之間的差距。
最終的願景是打造真正的對話式和響應式計算機。 “你應該能夠與你的電腦交談，讓它理解你，然後就能讓奇蹟發生。”
Mehdi 補充道。這是一場重大賭博，押注人工智能最終使語音交互具有足夠的吸引力，足以改變數十年來圍繞鍵盤和鼠標建立的用戶習慣。
看到屏幕的人工智能:Copilot Vision 在全球推出
這個以人工智能為中心的未來的一個關鍵組成部分是 Copilot Vision，它現已在提供 Copilot 的所有市場提供。該功能允許人工智能“查看”並分析用戶的屏幕，從而在任何應用程序中提供上下文幫助。
自首次有限預覽版（僅限於 Edge 瀏覽器並需要付費訂閱）以來，該功能發展迅速。
該功能將 Copilot 從被動的聊天機器人轉變為主動的視覺嚮導。與有爭議的 Recall 功能不同，Vision 是嚴格選擇加入的，並不總是開啟。
用戶必須通過單擊不同的“眼鏡圖標”明確授予每個會話權限，本質上以類似於 Teams 通話的方式流式傳輸屏幕視圖。
激活後，Vision 可以提供分步說明、解決電腦問題或回答有關屏幕內容的問題。該功能已從查看單個應用程序擴展到完整的“桌面共享”模式，該模式使 AI 能夠了解用戶整個工作流程中的上下文。
[嵌入內容]
Microsoft Copilot 團隊解釋了該功能，指出“當您共享桌面（或任何特定瀏覽器或應用程序窗口）時，Copilot 可以看到您所看到的內容並實時與您討論。”
實際應用非常廣泛。用戶可以尋求有關創意項目的提示，獲得改進簡歷的幫助，或者在玩新遊戲時獲得指導。 “亮點”功能甚至允許 Copilot 直觀地指出點擊哪裡來完成任務。為了提高工作效率，它可以分析整個 PowerPoint 演示文稿以獲得見解，而無需用戶翻閱每張幻燈片。
雖然 Vision 可以查看並提供建議，但它不能代表用戶採取行動；該功能是為單獨的 Copilot Actions 功能保留的。為了使體驗更加多樣化，微軟還準備了“文本輸入文本輸出”模式，允許用戶通過文本而不僅僅是語音與 Vision 交互。
這種系統範圍的感知對於提供真正的上下文幫助至關重要。通過了解用戶在做什麼，Copilot 可以提供相關支持，而無需冗長的解釋，從而更接近成為“日常伴侶”的目標。 重新設計的任務欄提供對這些工具的一鍵訪問，進一步將它們集成到核心 Windows 體驗中。
從助手到代理:Copilot Actions 控制您的電腦
也許此次更新中最具前瞻性的元素是針對本地文件的 Copilot Actions 的實驗性預覽。此功能通過 Copilot Labs 向 Windows 預覽體驗成員提供，允許 AI 直接在用戶的電腦上執行多步驟任務。這標誌著朝著代理 AI 的未來邁出了重要一步，助手不僅會做出響應，還會主動代表您工作。
這項新功能將 Copilot 轉變為微軟所說的“通用代理”。它不僅僅是回答問題，還可以打開應用程序、打字、滾動和執行複雜的一系列操作。
用戶可以用自己的語言描述任務，例如對度假照片進行排序或從 PDF 中提取信息，然後代理將嘗試通過與桌面和 Web 應用程序交互來完成任務。
該系統的設計就像真正的數字協作者一樣。當代理在後台工作時，用戶可以自由地專注於其他事情。他們可以隨時監控代理的進度、查看其已採取的具體操作，甚至完全收回對任務的控制權。此功能擴展了 Microsoft 在 4 月份首次宣布的基於網絡的 Actions，將自動化的強大功能直接引入到 Windows 桌面。
但是，該公司對其實驗性質保持透明，並從一組狹窄的用例開始，以優化性能並從實際使用中學習。
微軟 Windows 體驗公司副總裁 Navjot Virk 警告說，該系統仍在學習中。她指出:“一開始，您可能會看到代理犯一些錯誤，或者在嘗試使用一些非常複雜的應用程序時遇到一些挑戰。
這種透明度是管理用戶對這種強大但新生技術的期望的深思熟慮策略的一部分。
[嵌入內容]
從召回中學習:對選擇加入和安全性的新關注
微軟有針對性地強調 這些新功能的以隱私為中心的選擇性加入設計。這種謹慎的做法是對其 Windows Recall 功能強烈反對的直接而必要的回應，該功能在推出後因其重大安全漏洞而受到嚴厲批評。
Recall 最初是基於對設備隱私的承諾而出售的。當時，Yusuf Mehdi 表示，“Recall 利用您的個人語義索引，完全在您的設備上構建和存儲。您的快照是您的；它們保存在您的 PC 本地。 “
當研究人員發現該功能將其數據存儲在未加密的本地數據庫中時，這一承諾破滅了，創造了許多人所說的“惡意軟件金礦”。
強烈的批評迫使我們 公司推遲了該功能並重新設計了其安全性。對於 Copilot Vision 和 Actions，微軟不會冒險。
該公司發布了一套明確的安全承諾，強調這些強大的代理體驗是以負責任的方式引入的。
至關重要的是，Copilot Actions 默認情況下處於關閉狀態。用戶必須明確選擇啟用它，並可以隨時暫停、控製或禁用它。
微軟還承諾完全可見性，允許用戶監控代理的進度並查看其採取的每一步。對於敏感決策，代理甚至可能會在繼續之前請求特定批准。
這種擺脫 Recall 被動數據捕獲的方式對於建立用戶信任至關重要。 Copilot Actions 的新模型旨在確保用戶始終處於控制之中，這與 Recall 最初的始終在線方法形成鮮明對比。這種謹慎、預覽優先的部署旨在在更廣泛的發布之前收集反饋並完善安全控制。
最終，微軟將其 AI PC 定位為值得信賴的合作夥伴。正如 Mehdi 所說，“我們希望每個採取行動的人都能體驗到擁有一台 PC 意味著什麼，它不僅僅是一個工具，而且是一個真正的合作夥伴。 “
這一雄心勃勃的願景的成功不僅取決於技術能力，還取決於公司是否有能力讓用戶相信其強大的新 AI 工具既安全又可靠。
[嵌入內容]
