}

8月18日消息,近日,豆包发布产品更新,“工作任务”模式新增“豆包虚拟桌面”能力,可在虚拟环境中操作Windows电脑,完成应用操作、网页浏览以及跨软件任务。

据介绍,豆包虚拟桌面基于GUI(图形用户界面)操作能力,在没有MCP、API、插件和CLI的情况下,模型也可以识别软件界面,并通过模拟屏幕查看、鼠标及键盘操作推进任务。

与直接接管用户电脑不同,豆包虚拟桌面可在不干扰用户当前工作的环境中执行任务,不会占用用户正在使用的鼠标和键盘。任务执行过程中,用户可以实时查看豆包的操作过程,并根据需要随时暂停或接管。

具体使用时,用户在豆包电脑端选择“工作任务”模式和“本地电脑”,并在技能栏中选择“操作电脑”,输入任务指令后,豆包虚拟桌面即可根据任务需求操作电脑界面,继续执行相应的复杂任务。

此次更新意味着豆包的Agent能力进一步从调用工具向直接操作图形界面延伸。相较依赖特定API或插件的方式,GUI操作能够覆盖更多没有专门接口的软件和网页,使AI可以通过接近人类操作电脑的方式完成跨应用任务。

目前,该功能需要通过豆包官网下载最新版Windows“豆包电脑版”,并在“工作任务”模式中按照系统提示完成授权和初始化。用户也可以直接通过“操作电脑”技能发起任务,并按照豆包指引完成版本更新。(定西)