浙大与联想团队联合提出 EM²Mem:打造多模态智能体的事件中心记忆方案

在人工智能持续向多模态与长期演进的背景下,如何让智能体摆脱“过目即忘”或检索低效的困境,一直是学术界与产业界攻关的核心痛点。近日,浙江大学与联想团队合作提出了一项全新的以事件为中心的多模态长期记忆方案——EM²Mem,相关研究成果已在 EMNLP2026正式亮相。

在人工智能持续向多模态与长期演进的背景下,如何让智能体摆脱“过目即忘”或检索低效的困境,一直是学术界与产业界攻关的核心痛点。近日,浙江大学与联想团队合作提出了一项全新的以事件为中心的多模态长期记忆方案——EM²Mem,相关研究成果已在 EMNLP2026正式亮相。

颠覆传统模式:从“先检索后对齐”到“先对齐后检索”

长期以来,现有的多模态智能体在处理长期记忆时,往往采用的是相对简化的存储与检索方式。这种传统模式通常将各类信息零散存放,导致智能体在面对复杂问题时,难以有效关联不同维度的线索。

针对这一痛点,EM²Mem 方案做出了一项底层逻辑上的颠覆:它将传统的“先检索后对齐”模式创新性地调整为“先对齐后检索”。在记忆构建的初始阶段,该方案就直接把同一事件中的人物、物体、行为、时间等多元线索紧密关联在一起,从而搭建出多尺度的事件档案。在此基础上,通过情节图与语义图的有机结合,进一步连接不同的经历,最终沉淀出长期的规律。

显著提升召回与效率:构建多模态智能体记忆系统 LightMem-Ego

从实际的测试与应用效果来看,EM²Mem 展现出了多维度的性能优势:

准确率与召回率双升: 实验数据显示,相比于现有的常规方法,EM²Mem 在事件级证据召回率以及问答准确率上均实现了显著提升。

降低耗时与算力消耗: 该方案能够大幅降低单次问答的耗时与 Token 用量。由于记忆在构建完成后可以多次复用,经过长期的摊平使用,其综合效率优势更加明显。

依托这一核心技术支撑,研究团队进一步搭建了多模态智能体记忆系统 LightMem-Ego。该系统未来可广泛落地应用于个人生活助手、科学实验室助手等多样化场景,为多模态智能体的持续学习与个性化发展提供坚实的底层支撑。

💬 评论
🔗 本文链接

以专业为基,引领科技向善向新

Rooted in professionalism, we lead technology toward social good and innovation.

数智化转型网 · 了解更多产业资讯与选型数据 →

📰 你可能也喜欢

数智化转型网每日AI资讯 AI情报站

比高端型号还猛却更便宜,Google 用”Gemini 4 Hydrogen”上演反向内卷

Google 刚推出 Gemini4Hydrogen(氢),一款主打速度与执行效率的新模型,结果一登场就尴尬了自家的 Argon:第三方智能指数榜上,Hydro…
📅 11-16 · 👁 2026年11月16日
数智化转型网每日AI资讯 AI情报站

Claude 辅助完成 19 万行代码,成功对三元哥德巴赫猜想进行形式化证明

人工智能在基础科学研究领域的应用正在创造历史。近日,独立开发者 Charlie Reams 借助Claude Code成功完成了对三元哥德巴赫猜想的形式化证明。…
📅 11-16 · 👁 2026年11月16日
数智化转型网每日AI资讯 AI情报站

Anthropic 募资 904 亿剑指史上最大 IPO,认购已超六倍

据知情人士透露,Claude 开发商 Anthropic 的 IPO 已吸引到可供认购股票约六倍的订单,投资者对这桩有望成为有史以来最大股票发行的热情持续升温。…
📅 11-16 · 👁 2026年11月16日
数智化转型网每日AI资讯 AI情报站

无需显卡也能跑! 40 核老旧服务器硬刚 2.8 万亿参数大模型,傲腾内存成破局利器

在人工智能参数规模不断膨胀的今天,动辄数万亿参数的巨型大模型往往需要依靠昂贵的高端显卡集群才能驱动。然而,近日有玩家在社区分享了一次极具极客精神的极限测试:他仅…
📅 11-16 · 👁 2026年11月16日
数智化转型网每日AI资讯 AI情报站

OpenAI机器人业务转向”模型内整合”,具身智能纳入通用基础模型框架

11月13日,据外媒报道,OpenAI已解散独立机器人团队,原成员并入常规模型训练体系。内部判断认为,机器人只是通用模型的一类垂类任务,所需智能能力应在通用基础…
📅 11-16 · 👁 2026年11月16日
数智化转型网每日AI资讯 AI情报站

徐峥刷到自己的 AI 换脸视频愣了:有的真人演员还不如它

在近日举办的第四届表演教育国际论坛上,导演徐峥聊起自己初遇 AI 生成内容的经历。他说第一次刷到用自己脸做的 AI 换脸表演片段时,整个人都懵了——屏幕上那个&…
📅 11-16 · 👁 2026年11月16日