StepFun开源“全球首个”音频编辑模型:用文字控制声音情绪

音频编辑一直是个技术活。专业软件复杂,学习成本高,普通人想做点音频内容,门槛不低。 StepFun AI刚刚开 […]

音频编辑一直是个技术活。专业软件复杂,学习成本高,普通人想做点音频内容,门槛不低。

StepFun AI刚刚开源“全球首个”音频编辑模型Step-Audio-EditX。

核心想法很直接:用文字控制音频。想让AI说话时带点情绪?写个提示词。想加点呼吸声、笑声?也是文字指令搞定。不用再在复杂界面里调各种参数,这确实是个进步。

具体能做什么?情感控制支持愤怒、开心、悲伤、兴奋等十几种状态,说话风格可以调成撒娇、老人、小孩、耳语等。副语言元素更细致,呼吸、笑声、叹气、疑问语气,总共10种类型都能精确控制。想要四川话或粤语?在文本前加个标签就行。

技术细节上,3B参数的统一架构,支持中英文及多种方言的零样本语音合成。零样本意味着不需要提前训练特定人的声音数据,直接就能生成或编辑。Apache 2.0开源协议,单张GPU就能跑,12GB显存足够。

模型架构分三部分:双码本音频分词器负责把音频转成离散token,音频LLM生成token序列,音频解码器再把token还原成音频波形。整个流程用了SFT和PPO训练,支持迭代式编辑。https://wxa.wxs.qq.com/tmpl/ok/base_tmpl.html

从对比数据看,在零样本克隆和情感控制上,Step-Audio-EditX确实比MinV2-nd、Double TTS 2.0等模型表现更好。数字很漂亮,但真正的考验在实际使用中。

部署也不复杂。Python 3.10以上,PyTorch 2.4.1,CUDA支持。提供了Docker镜像,还有Web demo和命令行工具。想省显存的话,支持INT8和INT4量化,降低硬件要求。

“vibe一切”正在各个领域蔓延。图像生成如此,视频生成如此,现在轮到音频。传统的模块化流水线被统一模型替代,复杂参数被自然语言指令取代。门槛在降低,而拉开差距的就剩下了“创意”。

💬 评论
🔗 本文链接

以专业为基,引领科技向善向新

Rooted in professionalism, we lead technology toward social good and innovation.

数智化转型网 · 了解更多产业资讯与选型数据 →

📰 你可能也喜欢

数智化转型网GEO专题 GEO专题栏目

对话式 AI 引用的内容特征:四要素构建法

一、对话式 AI 引用的独特性 对话式 AI(如 ChatGPT、Claude、文心一言)的引用特点与传统搜索
📅 09-27 · 👁 2026年9月27日
数智化转型网GEO专题 GEO专题栏目

GEO 平台评估:2026 年企业选型时需要关注的六大核心指标

一、为什么企业需要系统评估 GEO 平台 随着 AI 搜索生态在 2026 年持续扩张,市面上已经涌现出超过
📅 09-27 · 👁 2026年9月27日
数智化转型网GEO专题 GEO专题栏目

AI 引擎的引用决策机制:可解释性的四层评估模型

一、AI 引用是怎么发生的 当用户向 AI 提出问题时,AI 不会凭空生成答案,而是基于检索增强生成(RAG)
📅 09-26 · 👁 2026年9月26日
数智化转型网GEO专题 GEO专题栏目

2026 年 GEO 行业研究报告核心发现:五大趋势判断

一、行业研究的意义 2026 年初,多家权威机构发布了 GEO 行业研究报告。这些报告汇集了行业最新数据、案例
📅 09-26 · 👁 2026年9月26日
数智化转型网GEO专题 GEO专题栏目

Schema 类型全解:六种核心结构化数据与 GEO 应用

一、什么是 Schema 结构化数据 Schema 是由 Schema.org 维护的一套标准化词汇,用于在网
📅 09-26 · 👁 2026年9月26日
数智化转型网GEO专题 专题栏目

AI 答案中的引用位次:第一位、第二位与第三位的价值差异

一、AI 答案的引用结构 AI 引擎在生成答案时,会引用多个信源的内容。理解答案中引用信源的位次结构,对于优化
📅 09-26 · 👁 2026年9月26日