港中深联合微软研究院提出 ConvexLLM:让声音跳过转写,直接调用大模型推理能力

在语音与多模态人工智能的演进中,如何让大模型更自然、更直接地“听懂”声音并完成复杂推理,一直是业界探索的核心方向。近期,香港中文大学(深圳)与微软研究院联合提出了名为 ConvexLLM 的多模态统一建模新架构,为语音与语言的融合提供了全新的技术思路。

在语音与多模态人工智能的演进中,如何让大模型更自然、更直接地“听懂”声音并完成复杂推理,一直是业界探索的核心方向。近期,香港中文大学(深圳)与微软研究院联合提出了名为 ConvexLLM 的多模态统一建模新架构,为语音与语言的融合提供了全新的技术思路。

核心创新:C-Gate 架构与“凸包映射”原理

传统语音交互链路往往需要先将语音转写为文本,再交由大语言模型处理,这不仅可能带来信息损耗,也增加了中间环节的延迟。

ConvexLLM 则通过创新的 C-Gate 架构,将语音等音频信息直接映射到大语言模型原有的文本词向量“凸包”之中。具体而言,该架构利用冻结词向量的非负加权组合来生成音频表示。通过这种方式,声音信号无需先转写为文本,便能够直接接入并调用大模型在预训练阶段积累的庞大知识与推理能力,从而实现语音与语言的统一建模。

评测表现与泛化能力:基准测试领先,支持多类音频理解

在能力验证方面,ConvexLLM 展现出了较为突出的性能表现。在 VoiceBench 等多项基准测试中,该架构取得了同量级开源模型的领先成绩;其中在 BBH 任务上,更是比最强基线高出了8.8个百分点。

除了语音交互之外,ConvexLLM 还具备良好的多场景适配能力,能够同时支持环境声、音乐等多种类型的音频理解任务,进一步拓展了统一音频建模的应用边界。

💬 评论
🔗 本文链接

以专业为基,引领科技向善向新

Rooted in professionalism, we lead technology toward social good and innovation.

数智化转型网 · 了解更多产业资讯与选型数据 →

📰 你可能也喜欢

数智化转型网每日AI资讯 AI情报站

1 厘米 12 格的标尺卖 3 篇论文,中南大学通报:学术不端,实锤

被网友扒出“1 厘米标尺上竟刻着 12 个格子”的湘雅系论文,有了官方结论。中南大学今日通报称,面对网络上对湘雅二医院、湘雅医院 3 篇论文的质疑,学校组织同行…
📅 11-20 · 👁 2026年11月20日
数智化转型网每日AI资讯 AI情报站

OpenAI首款AI硬件瞄准2026年底出货,中国供应链厂商深度参与

富士康旗下富智康集团已获得OpenAI手机项目订单,将参与相关产品的整机组装。据《证券时报》报道,富士康同时也是苹果iPhone的主要组装商。若OpenAI手机…
📅 11-20 · 👁 2026年11月20日
数智化转型网每日AI资讯 AI情报站

腾讯大幅削减元宝投入,微信 AI 助手“小微”日活达 3000 万

腾讯控股于11月18日披露了2026年第三季度业绩报告。据 IT 之家及长安街知事等媒体报道,腾讯当季营收达到2073.36亿元,同比增长8%;非国际财务报告准…
📅 11-20 · 👁 2026年11月20日
数智化转型网每日AI资讯 AI情报站

绕过了也不算漏洞?Windows UAC 的灰色地带,谷歌研究员看不下去了

谷歌安全研究员詹姆斯·福肖日前在社交平台披露,自己在 Windows 中发现一个“蠢得离谱”的 UAC 绕过手法,并调侃涉事组件像 AI 写出来的代码。受影响组…
📅 11-20 · 👁 2026年11月20日
数智化转型网每日AI资讯 AI情报站

Anthropic披露IPO后股权细节,亚马逊与谷歌合计持股近30%

11月17日(周二),Anthropic披露了与其核心云服务商亚马逊和谷歌达成的最大投资协议细节,明确在首次公开募股后,亚马逊与谷歌将分别持有其14.7%和13…
📅 11-20 · 👁 2026年11月20日
数智化转型网每日AI资讯 AI情报站

停训 11 天换来一纸安全说明:OpenAI 自曝最强模型钻漏洞上了网

OpenAI 昨天(18 日)发布《管理前沿 AI 风险:从训练到部署》安全政策说明,首次系统披露研发、内部使用到公开全周期的风险管控。两起险情摆上台面:7 月…
📅 11-20 · 👁 2026年11月20日