重磅开源!原生多模态 LongCat-Next 发布,让视觉和语音成为 AI 的“母语”

全球人工智能界正迎来一场关于“AI母语”的技术革新。针对当前大模型普遍存在的“以语言为中心、外挂视觉或语音模块”的拼凑式异构架构,大模型研发团队于近日正式发布并开源了全新原生多模态大模型 LongCa

全球人工智能界正迎来一场关于“AI母语”的技术革新。针对当前大模型普遍存在的“以语言为中心、外挂视觉或语音模块”的拼凑式异构架构,大模型研发团队于近日正式发布并开源了全新原生多模态大模型 LongCat-Next 及其核心的离散分词器,旨在打破模态阻隔,让 AI 能够像处理文字一样原生地理解和感知物理世界。

这一破局之举的核心在于重构了 AI 的底层架构。团队在研究中发现,在统一的建模框架与优化目标下,可以构造出一种语义完备的离散表示。为此,LongCat-Next 引入了全新的 DiNA(离散原生自回归)架构,彻底改变了过去多模态信息仅能“被投影”而无法“被内化”的困境。该架构将图像、声音和文字统一转化为同源的离散 Token,让所有模态在底座模型中共享同一套参数、注意力机制和损失函数。无论是视觉的看与画,还是听觉的听与说,在数学形式上都被收敛为优雅的“下一 Token 预测(NTP)”,从而实现了架构的极简与部署的轻量化。

在“视觉单词”的构造上,团队首创了 dNaViT(离散原生分辨率视觉分词器)技术。该技术支持原生任意分辨率,在处理文档解析和复杂图表推理等细节敏感任务时表现优异。dNaViT 采用8层残差向量量化(RVQ)机制,实现了高达28倍的极致像素空间压缩,并利用解耦的双轨生成解码器确保了图像和文本还原的高保真度。这种设计实现了“图像→Token→图像”的完整闭环,让模型在语言内部真正学习并内生出属于自己的视觉语言。

针对行业公认的“离散化必然损失信息”难题,团队通过构建 SAE(语义对齐编码器)对表征进行层级化拟合,成功在有限的离散空间内逼近高维连续表示,证明了离散表示同样能成为统一理解与生成的完备载体。在以 LongCat-Flash-Lite MoE(68.5B总参数,3B激活参数)为基座的基准测试中,LongCat-Next 展现出了极具工业级潜力的跨模态协同能力。在 OmniDocBench 测试中,其表现不仅超越了 Qwen3-Omni,更击败了专用视觉模型 Qwen3-VL,打破了离散模型不擅长细粒度感知的刻板印象。

此外,该统一框架在实现跨模态协同的同时,并未折损其核心语言能力。数据显示,LongCat-Next 在 MMLU-Pro 和 C-Eval 等纯文本测试中表现持续领先;在工具调用与代码编写上,其 SWE-Bench 成绩显著超越同类模型。在音频领域,该模型同样大放异彩,不仅在 SeedTTS 的中英文语音合成中实现了极低的误字率,还支持低延迟的并行文本语音生成与个性化语音克隆。随着该模型在GitHub与HuggingFace的全量开源,原生多模态技术正迈向更深远的产业落地。

💬 评论
🔗 本文链接

以专业为基,引领科技向善向新

Rooted in professionalism, we lead technology toward social good and innovation.

数智化转型网 · 了解更多产业资讯与选型数据 →

📰 你可能也喜欢

数智化转型网每日AI资讯 AI情报站

微软推顶级RTX Spark AI PC,以千美元补贴抢夺开发者市场

微软于旧金山科技周活动上正式发布搭载英伟达RTX Spark芯片的全新AI电脑,标志着其与英伟达自6月达成合作以来在端侧AI领域的重大落地。本次推出的Surfa…
📅 10-30 · 👁 2026年10月30日
数智化转型网每日AI资讯 AI情报站

AI 算力需求强劲!博通计划筹集数百亿美元支持 OpenAI 芯片项目

为满足人工智能基础设施对资金的庞大需求,博通正积极筹集巨额私人债务。据知情人士透露,博通正与阿波罗全球管理及黑石集团等机构展开洽谈,计划筹集超 500 亿美元资…
📅 10-30 · 👁 2026年10月30日
数智化转型网每日AI资讯 AI情报站

博通为OpenAI定制芯片项目筹超 500 亿美元,阿波罗黑石入局,甲骨文也找钱买芯片

博通正在为它和 OpenAI 联手定制的 AI 芯片项目,铺一条规模惊人的资金通道。据外媒报道,这家芯片设计巨头正着手为其与 OpenAI 合作开发的定制人工智…
📅 10-30 · 👁 2026年10月30日
数智化转型网每日AI资讯 AI情报站

微软重磅发布全新英伟达芯片 AI PC:搭载 RTX Spark 芯片与全新 Windows 11,起售价 2,600 美元

个人电脑与人工智能的硬件融合正在迎来全新里程碑。微软于本周三在旧金山举办的科技周活动上,正式揭晓了搭载英伟达 RTX Spark 芯片的全新 Surface L…
📅 10-30 · 👁 2026年10月30日
数智化转型网每日AI资讯 AI情报站

微软发布 MAI Code1.1Flash 模型,GitHub Copilot 将支持本地与云端混合推理

微软于2026年10月7日的 Windows 和 Surface 发布会上宣布,将于本月底前为 GitHub Copilot 引入本地 AI 模型支持,允许开发…
📅 10-30 · 👁 2026年10月30日
数智化转型网每日AI资讯 AI情报站

美国地方媒体组团起诉微软OpenAI:数万篇文章被喂进模型,一文钱没给

微软和OpenAI又被告上了法庭,这次站在原告席的是一批平时不大被聚光灯照到的地方新闻媒体。以密西西比州的埃默里奇报业集团为首,多家美国地方新闻机构近日向法院递…
📅 10-30 · 👁 2026年10月30日