2026年09月04日 星期五

人工智能专题|StepFun开源“全球首个”音频编辑模型:用文字控制声音情绪

音频编辑一直是个技术活。专业软件复杂,学习成本高,普通人想做点音频内容,门槛不低。 StepFun AI刚刚开 […]

音频编辑一直是个技术活。专业软件复杂,学习成本高,普通人想做点音频内容,门槛不低。

StepFun AI刚刚开源“全球首个”音频编辑模型Step-Audio-EditX。

核心想法很直接:用文字控制音频。想让AI说话时带点情绪?写个提示词。想加点呼吸声、笑声?也是文字指令搞定。不用再在复杂界面里调各种参数,这确实是个进步。

具体能做什么?情感控制支持愤怒、开心、悲伤、兴奋等十几种状态,说话风格可以调成撒娇、老人、小孩、耳语等。副语言元素更细致,呼吸、笑声、叹气、疑问语气,总共10种类型都能精确控制。想要四川话或粤语?在文本前加个标签就行。

技术细节上,3B参数的统一架构,支持中英文及多种方言的零样本语音合成。零样本意味着不需要提前训练特定人的声音数据,直接就能生成或编辑。Apache 2.0开源协议,单张GPU就能跑,12GB显存足够。

模型架构分三部分:双码本音频分词器负责把音频转成离散token,音频LLM生成token序列,音频解码器再把token还原成音频波形。整个流程用了SFT和PPO训练,支持迭代式编辑。https://wxa.wxs.qq.com/tmpl/ok/base_tmpl.html

从对比数据看,在零样本克隆和情感控制上,Step-Audio-EditX确实比MinV2-nd、Double TTS 2.0等模型表现更好。数字很漂亮,但真正的考验在实际使用中。

部署也不复杂。Python 3.10以上,PyTorch 2.4.1,CUDA支持。提供了Docker镜像,还有Web demo和命令行工具。想省显存的话,支持INT8和INT4量化,降低硬件要求。

“vibe一切”正在各个领域蔓延。图像生成如此,视频生成如此,现在轮到音频。传统的模块化流水线被统一模型替代,复杂参数被自然语言指令取代。门槛在降低,而拉开差距的就剩下了“创意”。

若您对人工智能感兴趣,可添加数字化转型网小助手思思微信加入人工智能交流群。若您在寻找人工智能供应商,可联系数字化转型网小助手思思(17757154048,微信同号)

若您为人工智能服务商,可添加数字化转型网小助手Nora,加入人工智能行业交流群。

若您为人工智能创业者,可添加数字化转型网社群主理人Carina,加入人工智能创业交流群。

声明:本文来自网络,版权归作者所有。文章内容仅代表作者独立观点,不代表数字化转型网立场,转载目的在于传递更多信息。如有侵权,请联系我们。数字化转型网www.szhzxw.cn

本文由数字化转型网(www.szhzxw.cn)转载而成,来源于网络;编辑/翻译:数字化转型网(Professionalism Achieves Leadership 专业造就领导者)默然

CXOU AI 未来大会 · 报名通道限时开启
💬 评论
🔗 本文链接

📰 你可能也喜欢

人工智能案例集|丰田 Toyota:AI驱动的自动驾驶与智能制造双引擎转型——数智化转型网www.szhzxw.cn 专题栏目

人工智能案例集|丰田 Toyota:AI驱动的自动驾驶与智能制造双引擎转型

丰田(Toyota Motor Corporation)作为全球年销量近千万辆的汽车制造商,正以” […]
📅 08-31 · 👁 2026年8月31日
GEO专题

品牌在AI搜索中的可见性:影响因素与评估维度

一、什么是品牌AI搜索可见性 品牌在AI搜索中的可见性(AI Search Visibility)指的是品牌在 […]
📅 08-26 · 👁 2026年8月26日
GEO专题

2026年AI搜索现状:零点击时代已经到来

一、零点击搜索的定义与现状 零点击搜索(Zero-Click Search)指的是用户通过搜索引擎或AI工具获 […]
📅 08-26 · 👁 2026年8月26日
GEO专题

五大GEO策略:让AI搜索主动推荐你的品牌

想让AI在生成答案时主动推荐你的品牌,需要掌握科学的GEO策略。根据ClickForest、Search En […]
📅 08-26 · 👁 2026年8月26日
GEO专题

GEO与SEO的本质区别:从排名到信任的跨越

一、SEO的时代正在远去? 过去二十年,SEO(搜索引擎优化)一直是企业数字营销的核心。通过优化关键词、外链建 […]
📅 08-26 · 👁 2026年8月26日
人工智能案例|索尼:PlayStation AI 助手 + Intelligent Vision Sensor 的非纯 AI 传统巨头 AI 化样本——数智化转型网www.szhzxw.cn 专题栏目

人工智能案例|索尼:PlayStation AI 助手 + Intelligent Vision Sensor 的非纯 AI 传统巨头 AI 化样本

作为全球影音娱乐、游戏、半导体、影像四大业务的科技巨头,索尼(Sony Group Corporation, […]
📅 08-26 · 👁 2026年8月26日