音频大模型记不住谁在说话?墨大新基准VoxMem揭穿:32K上下文下全员不及格

当语音AI被拉进一场长达数小时、横跨几十轮的真实对话,它到底能不能记住"这句话是谁说的、用什么样的语气、背景里有什么声音"?墨尔本大学与新南威尔士大学的联合团队觉得,现有的评测根本答不了这个问题,于是端出了专门戳这块软肋的基准VoxMem。

当语音AI被拉进一场长达数小时、横跨几十轮的真实对话,它到底能不能记住”这句话是谁说的、用什么样的语气、背景里有什么声音”?墨尔本大学与新南威尔士大学的联合团队觉得,现有的评测根本答不了这个问题,于是端出了专门戳这块软肋的基准VoxMem。

他们先点破了旧评测的两道硬伤:一是只盯着转写出来的文字内容,把声音里藏着的身份信息、情绪线索、环境声一股脑丢掉;二是没法把”历史有多长”这个变量单独剥离出来看,于是模型表现差,到底是记性差还是被长度拖垮的,谁也说不清。VoxMem的打法是建一套”声学证据 × 记忆操作”的二维分类法,把考察维度正交拆开,覆盖15种组合,而且所有题目在8K到64K的不同历史长度下保持原样不动——等于只拧”对话长度”这一颗旋钮,其余全锁死,让记忆效果的变化能干净地归因到长度上。

这套基准的体量不轻:共3196个评测实例、34743个语音会话,合计约177小时音频,足以模拟一场漫长的多轮交谈。而对15个主流音频大模型的实测结果,相当打脸。在32K上下文长度下,所有模型的整体准确率都没能越过40%这条线。更值得玩味的是偏科方向:模型对”说了什么”的语义记忆,明显强过对说话人身份、副语言线索(语气、情绪)和环境声这三类声音原生信息的记忆;尤其追踪语气起伏、背景声变化的准确率极低,基本处于抓瞎状态。而且随着历史长度往上加,各类信息的记忆准确率全在往下掉。

团队据此下了个判断:当前音频大模型的语音记忆瓶颈,主要卡在”识别、定位、把信息关联绑定”这几个环节,而不是推理操作本身——换句话说,模型不是不会想,而是连”谁在什么时候、以什么方式说了什么”这种底层事实都没接稳,上层推理自然无从谈起。VoxMem这套基准,等于给语音AI量体温时换了一支更细的体温计,逼着业界正视一个长期被文字转写掩盖的事实:听得懂词,不等于记得住人、语气和整个世界。

💬 评论
🔗 本文链接

以专业为基,引领科技向善向新

Rooted in professionalism, we lead technology toward social good and innovation.

数智化转型网 · 了解更多产业资讯与选型数据 →

📰 你可能也喜欢

数智化转型网每日AI资讯 海外AI资讯

OpenAI遭遇信任危机:三名被解雇研究员联名发声,警告解雇潮恐引发行业“寒蝉效应”

上周遭遇突然解雇的三名前 OpenAI 研究人员米基塔·巴莱斯尼、托梅克·科尔巴克和贾斯敏·王于今日正式发表了一封公开信。他们在信中直言,担忧公司的这一突发举措…
📅 10-29 · 👁 2026年10月29日
数智化转型网每日AI资讯 海外AI资讯

OpenAI重磅发布GPT-6.1 Sol Ultrafast版,速度最高提升 8 倍

OpenAI Developers 官方近日正式宣布,在 API、Codex 以及 ChatGPT Work 平台中全面推出 GPT-6.1Sol 的 Ultr…
📅 10-29 · 👁 2026年10月29日
数智化转型网每日AI资讯 AI情报站

微信重拳清理 2.6 万余条 AI 魔改视频,四大名著等经典不容恶搞篡改

针对滥用 AI 技术篡改和解构经典内容的乱象,微信平台近期公布了专项治理成果,已集中下架超过 2.6 万余条 AI 魔改短视频。此举旨在维护健康的文化传播秩序,…
📅 10-29 · 👁 2026年10月29日
数智化转型网每日AI资讯 AI情报站

DeepSeek 长文本为何突然“抽风”?字节 Seed 团队揭开 AI 性能波动谜团

字节跳动旗下 Seed 团队在最新的研究论文中,揭示了大语言模型在处理超长文本时出现性能波动的技术原因。研究团队指出,这一现象主要源于分块 KV 缓存压缩技术所…
📅 10-29 · 👁 2026年10月29日
数智化转型网每日AI资讯 AI情报站

1400万企业的 AI 同事上线:WorkBuddy 进通讯录,群聊勾选即成任务、产物直接发回企微

10月14日,腾讯WorkBuddy宣布与企业微信完成深度融合,WorkBuddy客户端现可在企业授权范围内调用消息、文档、会议、微盘等十大能力,并以对话机器人…
📅 10-28 · 👁 2026年10月28日
数智化转型网每日AI资讯 AI情报站

“软硬模”三位一体!STEPX 首款大模型原生智能体手机 Neo 登场,售价 3999 元起

大模型原生 AI 终端品牌 STEPX(阶跃终端)在上海召开主题发布会,正式发布了旗下首款大模型原生智能体手机 STEPX Neo。该机型通过“硬件+操作系统+…
📅 10-28 · 👁 2026年10月28日