微软开源实时语音模型VibeVoice-Realtime-0.5B,300ms实时开声,90分钟长音频都不喘!

微软悄然开源了一枚“黑马级”实时语音模型:VibeVoice-Realtime-0.5B。这可能是目前全球延迟最低、表现最接近真人的开源文本转语音(TTS)模型之一,话还没说完,声音就已经开始了!

微软悄然开源了一枚“黑马级”实时语音模型:VibeVoice-Realtime-0.5B。这可能是目前全球延迟最低、表现最接近真人的开源文本转语音(TTS)模型之一,话还没说完,声音就已经开始了!

 极致实时:300ms就能开口说话

VibeVoice-Realtime-0.5B最硬核的能力是“几乎零延迟”。从输入文本到第一声发声平均仅需300毫秒,远低于传统TTS动辄1-3秒的起音时间。实际体验就像真人对话:你打字的同时,对方已经开始回应,完全没有“等我生成完再播”的卡顿感。

 长文本都不怕:一次生成90分钟流畅语音

别看模型只有0.5B参数,它却能一次性生成长达90分钟的超长音频,且全程不降速、不跑调、不重复,语调起伏自然得像专业播音员。目前已在HuggingFace实测通过,网友直接拿整本《三体》第一章喂进去,完整朗读下来毫无破音。

 多角色对话神器:4人播客也能完美还原

模型原生支持最多4个角色同时对话,每个角色都能保持独立且稳定的声线、语速和语气。比如模拟播客访谈场景:主持人沉稳、嘉宾A激动、嘉宾B幽默、嘉宾C略带歉意,四人轮流发言时互不串音,情绪切换丝滑,堪称“AI配音组团天花板”。

 情绪表达拉满:自动识别愤怒、激动、歉意

得益于内置的情感感知模块,VibeVoice能根据文本语义自动添加对应情绪:

– 看到“对不起”会自然带上歉意语气

– 遇到“太棒了!”会瞬间上扬兴奋

– 甚至一句“我很生气”都会压低声线、加快语速

完全不需要手动标注情绪标签,开箱即用。

 中英文双语,中文虽有进步但仍有提升空间

模型支持中英文混读,英文表现已接近商用级别,中文发音准确、自然度极高,但部分多音字、轻声词处理仍有优化空间。官方表示后续会推出专门的中文精调版本。

 轻量级设计:轻松塞进手机和边缘设备

仅0.5B参数,推理时显存占用不到2GB,在普通笔记本上就能跑满实时速度。开发者已经将其快速集成到本地AI助手、阅读App、实时同传工具中,未来有望成为“AI本地语音标配”。

目前VibeVoice-Realtime-0.5B已在HuggingFace和GitHub完全开源(MIT协议),支持商用。社区已出现大量Demo:有人用它做了“边打字边读”的微信语音输入神器,有人直接接在大模型后面,实现真正的全链路实时语音对话。

💬 评论
🔗 本文链接

以专业为基,引领科技向善向新

Rooted in professionalism, we lead technology toward social good and innovation.

数智化转型网 · 了解更多产业资讯与选型数据 →

📰 你可能也喜欢

数智化转型网每日AI资讯 AI情报站

OpenAI研究负责人回应解雇三名员工争议并全面澄清原因

近期,OpenAI 内部陷入了一场关于前员工离职争议的舆论漩涡。针对外界对于三名研究人员离职原因的种种猜测与公开信质疑,OpenAI 研究负责人正式发表了一份详…
📅 10-29 · 👁 2026年10月29日
数智化转型网每日AI资讯 AI情报站

一网打尽全家AI需求?微软或允许Microsoft365家庭成员共用Copilot额度

微软据称正酝酿对其生成式AI服务Copilot的权益分发机制进行重大调整,拟取消此前仅限订阅持有人独自使用的限制,允许Microsoft365Family和Pr…
📅 10-29 · 👁 2026年10月29日
数智化转型网每日AI资讯 AI情报站

谷歌 Gemini 4 Argon 突袭开放,AI 或将直接代替程序员提交代码

海外科技圈近期爆出重磅消息,谷歌下一代重磅人工智能模型 Gemini 4 Argon 已密集现身多个平台,并开始面向部分 Pro 用户开放。该模型已全面接入 G…
📅 10-29 · 👁 2026年10月29日
数智化转型网每日AI资讯 AI情报站

谷歌云重磅发布通用Gemini智能体,可自主拆解并执行复杂多步骤任务

谷歌云在近日举办的 “Gemini at Work2026” 大会上正式宣布,面向全球企业客户推出全新的 Gemini 智能体(Gemini Agent)。该产…
📅 10-29 · 👁 2026年10月29日
数智化转型网每日AI资讯 AI情报站

陶哲轩警示 OpenAI 批量生成证明,数学界面临“证明消化不良”

著名数学家陶哲轩等学者近期对 OpenAI 批量发布 AI 生成的数学证明提出严厉批评。事起 OpenAI 从 GitHub 发布了包含数百项开放难题解答的 7…
📅 10-29 · 👁 2026年10月29日
数智化转型网每日AI资讯 AI情报站

苹果官宣10月13日举行“Welcome home”发布会,全面发力智能家居AI中枢

苹果公司正式宣布,将于10月13日在纽约举办主题为“Welcome home”(欢迎回家)的智能家居新品发布会。这是新任首席执行官 John Ternus 上任…
📅 10-29 · 👁 2026年10月29日