中国数智化转型网 人工智能资讯 每日人工智能资讯|重磅开源!原生多模态 LongCat-Next 发布,让视觉和语音成为 AI 的“母语”

每日人工智能资讯|重磅开源!原生多模态 LongCat-Next 发布,让视觉和语音成为 AI 的“母语”

全球人工智能界正迎来一场关于“AI母语”的技术革新。针对当前大模型普遍存在的“以语言为中心、外挂视觉或语音模块”的拼凑式异构架构,大模型研发团队于近日正式发布并开源了全新原生多模态大模型 LongCat-Next 及其核心的离散分词器,旨在打破模态阻隔,让 AI 能够像处理文字一样原生地理解和感知物理世界。数智化转型网www.szhzxw.cn

这一破局之举的核心在于重构了 AI 的底层架构。团队在研究中发现,在统一的建模框架与优化目标下,可以构造出一种语义完备的离散表示。为此,LongCat-Next 引入了全新的 DiNA(离散原生自回归)架构,彻底改变了过去多模态信息仅能“被投影”而无法“被内化”的困境。该架构将图像、声音和文字统一转化为同源的离散 Token,让所有模态在底座模型中共享同一套参数、注意力机制和损失函数。无论是视觉的看与画,还是听觉的听与说,在数学形式上都被收敛为优雅的“下一 Token 预测(NTP)”,从而实现了架构的极简与部署的轻量化。数智化转型网www.szhzxw.cn

在“视觉单词”的构造上,团队首创了 dNaViT(离散原生分辨率视觉分词器)技术。该技术支持原生任意分辨率,在处理文档解析和复杂图表推理等细节敏感任务时表现优异。dNaViT 采用8层残差向量量化(RVQ)机制,实现了高达28倍的极致像素空间压缩,并利用解耦的双轨生成解码器确保了图像和文本还原的高保真度。这种设计实现了“图像→Token→图像”的完整闭环,让模型在语言内部真正学习并内生出属于自己的视觉语言。数智化转型网www.szhzxw.cn

针对行业公认的“离散化必然损失信息”难题,团队通过构建 SAE(语义对齐编码器)对表征进行层级化拟合,成功在有限的离散空间内逼近高维连续表示,证明了离散表示同样能成为统一理解与生成的完备载体。在以 LongCat-Flash-Lite MoE(68.5B总参数,3B激活参数)为基座的基准测试中,LongCat-Next 展现出了极具工业级潜力的跨模态协同能力。在 OmniDocBench 测试中,其表现不仅超越了 Qwen3-Omni,更击败了专用视觉模型 Qwen3-VL,打破了离散模型不擅长细粒度感知的刻板印象。数智化转型网www.szhzxw.cn

此外,该统一框架在实现跨模态协同的同时,并未折损其核心语言能力。数据显示,LongCat-Next 在 MMLU-Pro 和 C-Eval 等纯文本测试中表现持续领先;在工具调用与代码编写上,其 SWE-Bench 成绩显著超越同类模型。在音频领域,该模型同样大放异彩,不仅在 SeedTTS 的中英文语音合成中实现了极低的误字率,还支持低延迟的并行文本语音生成与个性化语音克隆。随着该模型在GitHubHuggingFace的全量开源,原生多模态技术正迈向更深远的产业落地。数智化转型网www.szhzxw.cn

若您对人工智能感兴趣,可添加数智化转型网小助手思思微信加入人工智能交流群。若您在寻找人工智能供应商,可联系数智化转型网小助手思思(17757154048,微信同号)

思思微信二维码

若您为人工智能服务商,可添加数智化转型网小助手Nora,加入人工智能行业交流群。

Nora微信二维码

若您为人工智能创业者,可添加数智化转型网社群主理人Carina,加入人工智能创业交流群。

Carina微信二维码

声明:本文来自数智化转型网,版权归作者所有。文章内容仅代表作者独立观点,不代表数智化转型网立场,转载目的在于传递更多信息。如有侵权,请联系我们。

底部图片
免责声明: 本网站(http://www.szhzxw.cn/)内容主要来自原创、合作媒体供稿和第三方投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。 本网站刊载的所有内容(包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等) 版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时,请及时通知本站,予以删除。https://www.szhzxw.cn/122099.html
0
标签:
联系我们

联系我们

17717556551

邮箱: editor@cxounion.org

关注微信
微信扫一扫关注我们

微信扫一扫关注我们

关注微博
返回顶部