阿里开源 Qwen-UI-Agent:真机多模态基座模型登场

阿里巴巴正式推出了以真实世界为中心的 GUI 智能体基座模型 Qwen-UI-Agent。该模型全面覆盖了移动端、电脑端、网页端以及深度搜索环境,旨在打破传统模拟测试的局限,让模型真正具备在复杂真实设

阿里巴巴正式推出了以真实世界为中心的 GUI 智能体基座模型 Qwen-UI-Agent。该模型全面覆盖了移动端、电脑端、网页端以及深度搜索环境,旨在打破传统模拟测试的局限,让模型真正具备在复杂真实设备上无缝操作的能力。

一、全面超越行业旗舰的综合性能

在各项权威测试与实际环境中,Qwen-UI-Agent 展现出了强劲的实力:

  • 移动端表现:在 MobileWorld 测试中斩获82.1% 的高分,领先多个主流国际旗舰模型;而在自建的百台真机基准 MobileWorld-Real 上,成功率高达92.2%,在 Android Daily 中更是接近满分。
  • 电脑端表现:在 OSWorld-Verified 中取得了79.5% 的成绩,同时在多项任务中相比基线大幅节省了执行步数。
  • 网页与通用能力:在 WebArena 网页测试中位列所有对比模型第一,且其通用和 Agentic 能力全面超越训练基座模型,能够从容应对长尾需求。

二、从模拟走向真实的真机环境

为了打通“从模拟到真实”的最后一公里,Qwen-UI-Agent 搭建了覆盖100多台真实手机、150多个应用的真机移动环境,用于任务构建、轨迹采集及模型训练,并推出了包含400多个任务的 MobileWorld-Real 真机基准,使研发团队能够根据真机成功率进行精准选型。

三、兼顾高效指令与安全管控

在功能特性上,该模型不仅支持常规的 GUI 界面操作,还能直接执行命令行操作,并在单次决策中以批量动作输出,大幅缩短了执行轨迹并提升了效率。同时,它具备完善的全过程安全判断机制:面对违法或高风险请求,它会直接拒绝并终止任务;而在涉及支付、数据删除、隐私授权等敏感场景时,则会在关键步骤主动停手,等待用户确认后再继续。

此外,该模型支持在超过100步的超长轨迹上进行在线强化学习训练,配合自适应课程学习,持续攻克高难度的长程任务。

项目主页:https://tongyi-mai.github.io/Qwen-UI-Agent/

💬 评论
🔗 本文链接

以专业为基,引领科技向善向新

Rooted in professionalism, we lead technology toward social good and innovation.

数智化转型网 · 了解更多产业资讯与选型数据 →

📰 你可能也喜欢

数智化转型网每日AI资讯 AI情报站

OpenAI研究负责人回应解雇三名员工争议并全面澄清原因

近期,OpenAI 内部陷入了一场关于前员工离职争议的舆论漩涡。针对外界对于三名研究人员离职原因的种种猜测与公开信质疑,OpenAI 研究负责人正式发表了一份详…
📅 10-29 · 👁 2026年10月29日
数智化转型网每日AI资讯 AI情报站

一网打尽全家AI需求?微软或允许Microsoft365家庭成员共用Copilot额度

微软据称正酝酿对其生成式AI服务Copilot的权益分发机制进行重大调整,拟取消此前仅限订阅持有人独自使用的限制,允许Microsoft365Family和Pr…
📅 10-29 · 👁 2026年10月29日
数智化转型网每日AI资讯 AI情报站

谷歌 Gemini 4 Argon 突袭开放,AI 或将直接代替程序员提交代码

海外科技圈近期爆出重磅消息,谷歌下一代重磅人工智能模型 Gemini 4 Argon 已密集现身多个平台,并开始面向部分 Pro 用户开放。该模型已全面接入 G…
📅 10-29 · 👁 2026年10月29日
数智化转型网每日AI资讯 AI情报站

谷歌云重磅发布通用Gemini智能体,可自主拆解并执行复杂多步骤任务

谷歌云在近日举办的 “Gemini at Work2026” 大会上正式宣布,面向全球企业客户推出全新的 Gemini 智能体(Gemini Agent)。该产…
📅 10-29 · 👁 2026年10月29日
数智化转型网每日AI资讯 AI情报站

陶哲轩警示 OpenAI 批量生成证明,数学界面临“证明消化不良”

著名数学家陶哲轩等学者近期对 OpenAI 批量发布 AI 生成的数学证明提出严厉批评。事起 OpenAI 从 GitHub 发布了包含数百项开放难题解答的 7…
📅 10-29 · 👁 2026年10月29日
数智化转型网每日AI资讯 AI情报站

苹果官宣10月13日举行“Welcome home”发布会,全面发力智能家居AI中枢

苹果公司正式宣布,将于10月13日在纽约举办主题为“Welcome home”(欢迎回家)的智能家居新品发布会。这是新任首席执行官 John Ternus 上任…
📅 10-29 · 👁 2026年10月29日