阿里巴巴通仪大型模型宣布其“百林”系列语音模型经过重大升级,现已正式开源。这两款更新后的语音模型可在仅三秒的音频录制后无缝切换至多达九种语言和十八种方言,包括普通话、粤语、日语和英语。它们还可以模拟各种情绪,如快乐和愤怒。
在这次升级中,Fun-CosyVoice3 型号有了显著改进。第一个分组延迟减少了50%,大大提升了中英双语语音的准确性。此外,该型号的语音克隆能力得到了增强,允许用户仅用三秒或更长的音频片段复制对应的语音并合成新的语音。这一功能使实时语音助手、直播配音和无障碍阅读等场景更加高效便捷。
Fun-ASR模型的能力也得到了提升,在噪声环境中达到了93%的准确率。该模式不仅支持歌词和说唱的识别,还允许多种语言自由混合,涵盖多种汉语方言和口音。为了提升用户体验,流媒体识别的第一个字符延迟被降低到160毫秒,显著提升了语音交互的流畅度。
此外,两种模型都支持本地部署和二级开发,允许开发者根据自身需求进行定制。开源地址也已发布,用户可以访问相关平台体验和使用这两种语音模型,进一步推动语音技术在各领域的应用。