GitHub Copilot 正式支持桌面端自动化：实现跨应用 GUI 交互与无 API 工作流编排
GitHub 在 2026 年 10 月 1 日发布了重磅更新，标志着 AI 编程助手 GitHub Copilot 的能力边界从代码生成正式延伸至桌面环境的全方位自动化。此次更新在 GitHub Copilot CLI 以及 macOS 和 Windows 版的 GitHub Copilot 应用中引入了“计算机使用”（Computer Use）功能，并进入公开预览阶段。
核心突破：打破 GUI 自动化壁垒
长期以来，企业级遗留软件和纯图形界面（GUI）应用由于缺乏 API 接口或命令行工具，难以被自动化脚本接管。此次更新彻底改变了这一现状。
Copilot 现在能够直接操作桌面应用程序，执行包括读取可访问内容、查看视觉上下文、点击控件、输入和编辑文本、按键操作、滚动、拖拽以及跨应用导航等一系列复杂任务。这意味着开发者可以利用 Copilot 自动化那些曾经需要编写繁琐脚本才能完成的工作流，特别是针对那些没有提供 API、命令行界面（CLI）或模型上下文协议（MCP）集成的老旧软件。
实际应用场景
官方演示中展示了 Copilot 利用计算机使用工具在 Safari 浏览器中导航报销工作流的场景。用户只需描述期望的结果、涉及的应用程序以及任何重要约束条件，Copilot 即可自主执行任务。
典型的应用案例包括：
- 浏览器通知汇总：自动读取并总结浏览器中的各类通知。
- 演示文稿内容更新：直接修改 PPT 中的特定文本或图表。
- 跨应用数据流转：在多个桌面应用之间移动信息，完成复杂的业务逻辑。
安全机制与权限控制
尽管功能强大，但 GitHub 强调用户始终掌握控制权。
- 事前审批：Copilot 在控制应用程序前会请求用户批准。
- 白名单管理：用户可以审查或重置已选择始终允许的应用程序。
- 系统级引导：在 macOS 上，Copilot 会引导用户完成必要的无障碍（Accessibility）和屏幕录制权限设置。
- 组织管控：支持组织管理员通过设置禁用该功能，以满足企业合规要求。
快速上手指南
开发者可以通过以下方式启用该功能：
在 Copilot CLI 中：
- 运行
/computer命令启动。 - 使用
/computer show检查状态。 - 使用
/computer off关闭功能。
在 GitHub Copilot 应用中：
- 打开
Settings（设置），选择Computer Use。 - 开启
Enable Computer Use选项。
这一更新不仅扩展了 AI 的自动化能力，更显著降低了企业部署遗留系统自动化的技术门槛，是 AI Agent 从“代码生成”向“任务执行”跨越的关键一步。
