AI 学会”睡觉”:谷歌想治好大模型边学边忘的老毛病

大模型出厂即"定型",新知识喂进去,要么随对话散场就丢,要么硬塞之后把旧本事忘光——这道两难,谷歌 10 月 27 日甩出一套"睡眠框架"(Sleep Framework)试图化解。相关论文题为《Language Models Need Sleep》,直白点出:模型也该像人一样,靠睡眠来巩固记忆。这套思路由 Google Research 公开发布,瞄准的正

大模型出厂即”定型”,新知识喂进去,要么随对话散场就丢,要么硬塞之后把旧本事忘光——这道两难,谷歌 10 月 27 日甩出一套”睡眠框架”(Sleep Framework)试图化解。相关论文题为《Language Models Need Sleep》,直白点出:模型也该像人一样,靠睡眠来巩固记忆。这套思路由 Google Research 公开发布,瞄准的正是行业久治不愈的”知识截止日”顽疾。

清醒干活,睡时整理

框架把模型运行切成两段。清醒阶段,它照常接收输入,把信息先放进短期记忆;一旦转入睡眠,便暂停接活,专心做记忆整合与自我改进。关键在”记忆巩固”:借助参数扩展、混合专家记忆块与知识蒸馏,把易碎的短期上下文写进长期参数,又不覆盖既有知识。另设”做梦”环节,让模型自己生成并筛选合成训练样本,靠强化学习反复练手,把推理与泛化磨得更顺。相比传统反复微调引发”灾难性遗忘”,睡眠式整合相当于给模型装了道防丢闸门。

零遗忘的野心

实验数据给得诱人:框架在持续翻译、长上下文理解、事实吸收与数学推理上压过多数基线;可消化最长约 1000 万 token 的上下文,在未见语言的多阶段持续学习里,性能几乎零下降;AIME 24/25 等数学基准也拿到更高准确率。若真能落地,意味着”知识截止日”有望被打破——模型不再发布即过时,而是边用边长本事,还不忘老本行。对需要持续吸收新信息的医疗、金融与法务场景,这套机制显然比周期性重训更划算。

💬 评论
🔗 本文链接

以专业为基,引领科技向善向新

Rooted in professionalism, we lead technology toward social good and innovation.

数智化转型网 · 了解更多产业资讯与选型数据 →

📰 你可能也喜欢

数智化转型网每日AI资讯 AI情报站

万亿参数开源模型Mistral Large4 登场:用更少Token打平顶级性能

10月30日消息,欧洲人工智能领军企业 Mistral 正式开源了其代号为“Le Chonk”的全新旗舰模型 —— Mistral Large4。作为目前开源权…
📅 11-02 · 👁 2026年11月2日
数智化转型网每日AI资讯 AI情报站

签到30天白拿8800额度:豆包向新老用户敞开30天免费订阅

字节跳动旗下 AI 助手豆包于10月30日上线新一轮免费福利活动,面向新老用户推出签到领额度与新用户订阅权益。新用户登录豆包电脑版即可领取30天免费体验套餐,体…
📅 11-02 · 👁 2026年11月2日
数智化转型网每日AI资讯 AI情报站

英伟达发布语音转录大模型Nemotron 3.5 Transcribe,8 人同时抢话也能精准识别

近日,人工智能芯片与技术巨头英伟达正式开源了全新语音转录大模型 ——英伟达Nemotron3.5Transcribe。作为一款面向专业语音处理场景打造的前沿开源…
📅 11-02 · 👁 2026年11月2日
数智化转型网每日AI资讯 AI情报站

Claude多端应用迎来重磅升级,iPhone版正式支持CarPlay语音交互

近日,Anthropic 官方在 X 平台连发多条推文,宣布对其覆盖多平台的移动端应用进行一次全面且深度的升级。其中,最引人瞩目的莫过于 iPhone 版 Cl…
📅 11-02 · 👁 2026年11月2日
数智化转型网每日AI资讯 AI情报站

Neuralink脑机接口迎来最强升级:Grok接入大脑,患者用意念直接唤醒AI

近日,马斯克的脑机接口公司 Neuralink 迎来了一项令人震撼的重大技术进展 —— 将人工智能模型 Grok 直接接进了人类大脑。这意味着,脑机接口正在从单…
📅 11-02 · 👁 2026年11月2日
数智化转型网每日AI资讯 AI情报站

微信营销生态活跃流量主首次突破千万,AI助力商业化提效与长期经营

10月29日,以“共创·可持续的商业力量”为主题的2026微信营销生态合作伙伴大会在上海举行。大会数据显示,越来越多生态参与者通过优质内容和产品服务获得商业回报…
📅 11-02 · 👁 2026年11月2日