Microsoft正在全面推进其人工智能战略，将Copilot集成为Windows 11的核心组件，并推出一系列生成式AI功能，旨在从根本上改变用户与PC的交互方式。新功能包括语音控制、屏幕内容分析和有限的本地自动化代理，目标是使 Copilot 成为用户与 PC 交互的“主要方式”。
“嘿，副驾驶”：语音控制成为主流
用户现在可以通过说“嘿，Copilot”在 Windows PC 上激活 Copilot。此功能是可选的，激活后会出现麦克风图标和音频信号。Microsoft 声称，通过语音与 Copilot 交互的用户参与频率是使用文本的用户的两倍，这表明用户对语音交互的参与度更高。会话可以自动结束，也可以通过“再见”命令结束。
为了方便访问，Copilot 将添加到 Windows 任务栏中，包括一个用于语音和视觉工具的新按钮，允许用户通过语音命令访问 Windows 设置。Microsoft 还计划提供纯文本选项，以满足想要不说话交互的用户的需求。
Copilot Vision：实时屏幕分析和上下文帮助
“Copilot Vision”功能现已在全球所有支持 Copilot 的设备上提供。此功能可以分析屏幕上的内容，并在用户编辑照片、玩游戏或在 Office 中工作时提供与上下文相关的帮助。Microsoft 表示，Copilot Vision 可以处理和分析 Word、Excel 和 PowerPoint 中的整个文档，提供强大的生产力支持。
“副驾驶行动”：有限的自治本地代理
Microsoft还推出了一项名为“Copilot Actions”的测试功能，该功能允许Copilot在本地计算机上处理一些简单的任务，例如搜索PDF或整理照片。此功能将首先在 Copilot Labs 中作为预览版发布，供 Insider Program 用户使用。用户可以随时观察 Copilot 的工作情况，并在必要时进行干预。
Microsoft 承认，这些基于代理的功能目前受到限制，并且可能存在错误，并且它们无法可靠地控制复杂的软件。鉴于研究表明基于代理的人工智能系统可能会带来安全风险，Microsoft 表示用户测试将是提高可靠性的关键。
与中国初创公司Manus合作：系统级本地文件访问
此外，Microsoft 还与中国初创公司 Manus 进行了整合。据报道，Manus 代理使用内置于 Windows 文件资源管理器中的 Anthropic 模型，允许用户只需右键单击即可从本地文件创建网站。Manus 使用 Anthropic 设计的“模型上下文协议”来实现对本地内容的系统范围访问。
扩展在线服务和游戏应用程序
- Copilot 连接器允许用户从 OneDrive、Outlook、Gmail 或 Google Drive 等连接服务中提取数据。用户可以使用“查找我的牙医预约详细信息”等提示来搜索预约、联系人或文档，并将结果直接导入 Word、Excel 或 PowerPoint。
- 在游戏领域，“Gaming Copilot”现已在华硕的 Windows 手持设备 ROG Xbox Ally 上推出。用户可以按下按钮来激活它，并在不暂停游戏的情况下获得导航或解释 Minecraft 等游戏中的游戏机制的帮助。
大多数新功能可以在任何支持 Copilot 的 Windows 11 设备上运行，但 Microsoft 建议使用 Copilot+ PC 来提高处理速度并执行本地 AI 任务。只有特定的“点击执行”Zoom 集成明确需要使用 Copilot+ PC 并参与 Windows 预览体验计划。
