网页控制新范式:阿里开源 Page Agent,让大模型读懂 DOM

在浏览器自动化领域,开发者长期以来不得不依赖 Selenium、Playwright 或 Puppeteer […]

在浏览器自动化领域,开发者长期以来不得不依赖 Selenium、Playwright 或 Puppeteer 等外部工具,通过复杂的截图或底层协议来“强行”驱动网页。近日,阿里巴巴开源了一款名为 Page Agent 的 JavaScript 客户端库,为这一流程带来了全新的思路:它将浏览器自动化从外部驱动转变为页面内部的直接操作。

Page Agent 的核心技术在于“DOM 脱水”。不同于传统方案需要将复杂的网页转化为多模态图片供 AI 识别,Page Agent 直接在网页内部运行,将实时 DOM 结构压缩为轻量化的“FlatDomTree”纯文本映射。这一技术创新使得模型无需处理繁重的视觉信息,仅凭精简的结构文本,就能精准定位并执行点击按钮、填写表单等指令。

对于开发者而言,这一方案具备明显的优势。由于 Page Agent 直接嵌入页面运行,它能无缝继承用户的 Cookie 和会话信息,免去了繁琐的后端对接与身份验证工作。该项目采用了模型无关的设计,支持任何兼容 OpenAI 接口的大语言模型。在实际应用场景中,如构建 SaaS 产品内的 AI 副驾、自动化表单处理,乃至提升应用的无障碍交互能力,Page Agent 都能提供极具性价比的落地方案。

尽管 Page Agent 在易用性上表现亮眼,但开发团队也强调了其技术边界:目前该库聚焦于单页面范围内的交互。同时,出于安全性考量,基于提示词的权限管控(如“禁止自动支付”)属于引导性限制,而非硬性逻辑隔离。因此,对于涉及资金划拨或数据修改等高风险操作,开发者仍需在服务端保留严格的校验机制。

目前,Page Agent 已在 GitHub 以 MIT 协议开源。对于希望快速在自有应用中内嵌 AI 操作能力,又不愿投入高昂多模态模型成本的团队来说,这无疑提供了一个高效且务实的工程选择。

💬 评论
🔗 本文链接

以专业为基,引领科技向善向新

Rooted in professionalism, we lead technology toward social good and innovation.

数智化转型网 · 了解更多产业资讯与选型数据 →

📰 你可能也喜欢

数智化转型网每日AI资讯 AI情报站

​豆包大模型 2.1 Pro 0915 版本重磅发布:Agent 交付更稳、多模态 Coding 全面进化

9月16日,火山引擎官方正式宣布,豆包大模型2.1Pro(Doubao-Seed-2.1-pro)迎来了全新的0915版本升级,目前该模型的 API 已经全量上…
📅 10-21 · 👁 2026年10月21日
数智化转型网每日AI资讯 AI情报站

vivo 正式发布智能体大模型矩阵,并重磅预研 30B MoE 端侧大模型

vivo 今日正式召开发布会,推出全新的智能体大模型矩阵,涵盖语音、端侧、云侧等四款核心大模型,全方位赋能终端设备的智能化体验。与此同时,vivo 官方宣布正在…
📅 10-21 · 👁 2026年10月21日
数智化转型网每日AI资讯 AI情报站

​生数科技正式发布 Vidu S2,支持实时编辑、动态参考图与头显适配

生数科技于9月15日正式发布了全新的 Vidu S2视频大模型系列。本次发布的 Vidu S2包含两个核心模型:面向持续交互数字角色生成的 Vidu S2-Av…
📅 10-21 · 👁 2026年10月21日
数智化转型网每日AI资讯 AI情报站

DeepSeek V4.1Flash助力《生化危机7》安卓模拟运行,帧率提升50%

近日,有网友社交平台发文称,其调用DeepSeek V4.1Flash模型,并结合Hermes Agent工具,对《生化危机7》游戏纹理进行AI调优,使游戏在搭…
📅 10-21 · 👁 2026年10月21日
数智化转型网每日AI资讯 AI情报站

AI智能体手机进入量产商用阶段:努比亚NaviX Ultra正式开售 搭载豆包手机助手

搭载豆包手机助手消费者版的努比亚NaviX Ultra正式上市,标志着AI智能体手机从工程样机进入规模化量产商用阶段。产品围绕“听得懂、能干活、记得住、够安全”…
📅 10-21 · 👁 2026年10月21日
数智化转型网每日AI资讯 AI情报站

科学减重一亿斤再加码!蚂蚁阿福推出AI饮食分功能,还将发一亿颗鸡蛋

每天吃的健康吗?现在拍张照就能知道了。9月16日,蚂蚁阿福发布了"AI饮食分":用户拍下餐食照片,AI就能自动识别食物种类、算清营养和热量,…
📅 10-21 · 👁 2026年10月21日