京东开源视频实时编辑模型:30 帧秒级推理,边看边改重新定义视频创作

京东宣布开源自研实时流式视频编辑模型 JoyAI-Video-Edit,用户可以一边观看视频一边修改人物与场景,让视频创作从"先有素材再修改"变为可实时互动编辑。

京东宣布开源自研实时流式视频编辑模型 JoyAI-Video-Edit,用户可以一边观看视频一边修改人物与场景,让视频创作从”先有素材再修改”变为可实时互动编辑。京东官方表示,在流式实时视频编辑方向,该模型对比当前业内代表性模型各项指标全面领先,达到世界一流水平。

视频实时编辑首先要解决速度问题。视频由一帧帧连续画面组成,如果模型处理速度跟不上播放速度,就会出现卡顿与延迟。JoyAI-Video-Edit 基于全自研 JoyAI-Video 模型,在 720P 分辨率下实现每秒 30 帧的模型推理速度,能够在保持较高画面清晰度的同时跟上常见影视视频的播放节奏。

视频长度也是流式编辑的一道门槛。此前流式编辑模型只能处理几秒或分钟级片段,而 JoyAI-Video-Edit 支持任意时长的稳定流式编辑,可以随着视频持续播放、持续处理。用户不必等待整段视频生成完成,就能在播放过程中实时修改场景、替换物体、调整人物形象或改变画面风格,实现”边观看边创作”。

一、权威评测全面登顶,四类编辑任务优势突出

为评估模型能力,研究团队将 JoyAI-Video-Edit 与 SANA Streaming、LiveEdit、Xmax-X2.0 等国际代表性流式视频编辑模型进行对比。结果显示,在覆盖典型视频编辑场景的评测数据中,JoyAI-Video-Edit 整体效果全面领先。

在业界权威的 OpenVE-Bench 通用评测中,该模型超越了目前所有的流式编辑方法,在全局风格、局部替换、局部删除和字幕编辑等任务中优势尤其突出,大幅领先行业同类模型。具体应用场景上,创作者可以让视频中的人物连续更换服装,在直播中把普通街道变成动画世界,也可以在家装设计中尝试不同的家具、墙面和灯光效果。

二、不止视频创作,还能为机器人”量产”训练数据

值得关注的是,JoyAI-Video-Edit 还为具身智能数据大规模合成提供了新的技术路径。机器人训练需要大量物体抓取、搬运与操作视频,但真机数据采集成本较高,危险或少见场景也难以反复采集。

依托对场景、物体与画面内容的可控编辑能力,JoyAI-Video-Edit 可将人手操作视频转化为机械手或机械臂操作素材,并在保留物体位置、空间关系与动作轨迹的基础上,替换场景、物体与机器人形态,让一段视频扩展出更多训练样本。从视频创作到机器人训练数据合成,这款模型的开源或将为多个赛道同时打开新的想象空间。

💬 评论
🔗 本文链接

以专业为基,引领科技向善向新

Rooted in professionalism, we lead technology toward social good and innovation.

数智化转型网 · 了解更多产业资讯与选型数据 →

📰 你可能也喜欢

数智化转型网每日AI资讯 AI情报站

OpenAI研究负责人回应解雇三名员工争议并全面澄清原因

近期,OpenAI 内部陷入了一场关于前员工离职争议的舆论漩涡。针对外界对于三名研究人员离职原因的种种猜测与公开信质疑,OpenAI 研究负责人正式发表了一份详…
📅 10-29 · 👁 2026年10月29日
数智化转型网每日AI资讯 AI情报站

一网打尽全家AI需求?微软或允许Microsoft365家庭成员共用Copilot额度

微软据称正酝酿对其生成式AI服务Copilot的权益分发机制进行重大调整,拟取消此前仅限订阅持有人独自使用的限制,允许Microsoft365Family和Pr…
📅 10-29 · 👁 2026年10月29日
数智化转型网每日AI资讯 AI情报站

谷歌 Gemini 4 Argon 突袭开放,AI 或将直接代替程序员提交代码

海外科技圈近期爆出重磅消息,谷歌下一代重磅人工智能模型 Gemini 4 Argon 已密集现身多个平台,并开始面向部分 Pro 用户开放。该模型已全面接入 G…
📅 10-29 · 👁 2026年10月29日
数智化转型网每日AI资讯 AI情报站

谷歌云重磅发布通用Gemini智能体,可自主拆解并执行复杂多步骤任务

谷歌云在近日举办的 “Gemini at Work2026” 大会上正式宣布,面向全球企业客户推出全新的 Gemini 智能体(Gemini Agent)。该产…
📅 10-29 · 👁 2026年10月29日
数智化转型网每日AI资讯 AI情报站

陶哲轩警示 OpenAI 批量生成证明,数学界面临“证明消化不良”

著名数学家陶哲轩等学者近期对 OpenAI 批量发布 AI 生成的数学证明提出严厉批评。事起 OpenAI 从 GitHub 发布了包含数百项开放难题解答的 7…
📅 10-29 · 👁 2026年10月29日
数智化转型网每日AI资讯 AI情报站

苹果官宣10月13日举行“Welcome home”发布会,全面发力智能家居AI中枢

苹果公司正式宣布,将于10月13日在纽约举办主题为“Welcome home”(欢迎回家)的智能家居新品发布会。这是新任首席执行官 John Ternus 上任…
📅 10-29 · 👁 2026年10月29日