淘宝MNN 团队开源 MNN-Pocket-0.3B,iPhone 18 Pro 离线解码飙升至 350 token/s

人工智能端侧部署领域迎来重磅进展。淘宝旗下 MNN 团队正式宣布开源面向手机应用的轻量化大语言模型 —— MNN-Pocket-0.3B。该模型拥有约3亿参数,专为手机等移动设备的资源预算与任务需求量身打造,在极低的内存占用和能耗下,实现了媲美云端的高速响应与出色的综合任务能力。

人工智能端侧部署领域迎来重磅进展。淘宝旗下 MNN 团队正式宣布开源面向手机应用的轻量化大语言模型 —— MNN-Pocket-0.3B。该模型拥有约3亿参数,专为手机等移动设备的资源预算与任务需求量身打造,在极低的内存占用和能耗下,实现了媲美云端的高速响应与出色的综合任务能力。

极致轻量化设计:体积缩减近半,峰值内存稳控在300MB 以内

为了让大模型在移动设备上真正做到“无感运行”,淘宝 MNN 团队将“手机应用原生大模型”细化为四大核心设计指标:解码吞吐超200token/s、峰值内存低于300MB、单次推理能耗极低以及具备强悍的指令遵循与多任务扩展能力。

在实际性能表现上,该模型交出了亮眼的成绩单:

惊人的离线速度: 在苹果 iPhone18Pro 真机测试中,通过 MNN 推理引擎完全离线运行,平均解码速度达到了约350token/s。而在 iPad Pro M5的 Metal 后端测试中,Prefill 吞吐更是高达8,721token/s,Decode 吞吐达到466token/s,约为同条件下 Qwen3-0.6B 的1.63倍。

极小的体积与内存占用: 模型的 INT4MNN 部署文件体积仅为173MB。在 iPad Pro M5测试配置下,其峰值内存增量仅为228MB。相比之下,同测试中的 Qwen3-0.6B 部署体积达340MB、峰值内存增量427MB,MNN-Pocket-0.3B 的部署体积缩减了约49%,内存增量减少约47%,为手机系统的图片、视频及其他业务模块保留了充足空间。

超低功耗表现: 团队在一加13(骁龙8至尊版)上对4-bit 模型进行了功耗测试。在基准负载下,执行100次同等负载任务累计增量能耗仅占手机电池总电量的0.3% 左右,彻底打消了用户对端侧 AI 耗电发热的顾虑。

精简高效的词表架构: 为了更好适配中文互联网环境,团队将词表从约151K 精简至64K,缩减幅度达57%,有效降低了词嵌入与输出层的参数开销。

综合能力越级挑战:多项评测登顶同规模模型之首

在实际任务表现与学术基准评测中,MNN-Pocket-0.3B 展现出了远超其参数体量的爆发力。

评测数据显示,该模型的英文 IFEval 得分达到73.20,自建的中文指令遵循 IFEval-zh 得分高达74.59,在同类对比模型中均名列前茅。在涵盖中英文知识、推理、数学、代码及指令遵循的11项综合评测中,其平均得分达到50.00,全面超越了 MiniCPM4-0.5B、Qwen3-0.6B 等更大规模的同类模型。其中,中文数学 MGSM-zh 得分51.20,代码生成 HumanEval 得分达到53.66。

全版本全开源矩阵:赋能研究者与开发者生态

为了让技术成果能够快速转化为真实的业务生产力,MNN 团队从预训练、后训练到端侧部署全流程开源了多个版本,满足不同场景的深度适配需求:

MNN-Pocket-0.3B-Base: 专为继续预训练、领域适配与基础能力研究打造。

MNN-Pocket-0.3B-SFT: 面向后训练研究、强化学习、蒸馏与消融实验。

MNN-Pocket-0.3B: 适用于通用指令调用与各类业务任务的深度适配。

MNN-Pocket-0.3B-MNN: 采用 W4A16QAT 的端侧专属部署版本,配合 MNN 推理引擎的低比特算子与硬件后端优化,在特定设备上解码吞吐可拉满至466token/s。

MNN-Pocket-0.3B-DFlash2: 针对 DFlash2投机解码草稿模型设计,配合块级生成与验证实现,特定任务下的解码吞吐可达常规自回归解码的2.06倍。

MNN-Pocket-0.3B-Dec: 通过决策头精准完成候选选择类任务。

💬 评论
🔗 本文链接

以专业为基,引领科技向善向新

Rooted in professionalism, we lead technology toward social good and innovation.

数智化转型网 · 了解更多产业资讯与选型数据 →

📰 你可能也喜欢

55 个海外智能体,日本 13 个、韩国 9 个、美国 8 个:海外版图透露的三个信号 AI情报站

55 个海外智能体,日本 13 个、韩国 9 个、美国 8 个:海外版图透露的三个信号

《智能体建设地图》单列了"海外智能体专区",收录 55 个智能体,覆盖 13 个国家和地区。日本 13 个、韩国 9 个、美国 8 个占据前三。这份分布,是国内…
📅 11-17 · 👁 2026年11月17日
自动草稿每个智能体都标了"替人做哪件事、解决什么难题":如何把地图当成选型对标表自动草稿 AI情报站

每个智能体都标了”替人做哪件事、解决什么难题”:如何把地图当成选型对标表自动草稿

《智能体建设地图》里每个智能体都带一组结构化字段——一句话职责、价值、痛点、能力定义、场景、能解决什么、适配行业、角色类型。这八个字段合起来,就是一份现成的智能…
📅 11-17 · 👁 2026年11月17日
"业务执行型"占了近一半:从41种角色看,智能体到底在替人干什么 AI情报站

“业务执行型”占了近一半:从41种角色看,智能体到底在替人干什么

《智能体建设地图》给每个智能体都贴了"角色类型"标签。在 18 个行业视角收录的 747 个智能体里,一共出现 41 种角色,其中"业务执行型"367 个、约占…
📅 11-17 · 👁 2026年11月17日
智能体建设地图 AI情报站

18 个行业里,政务 59 个、金融 54 个、制造 54 个:智能体密度告诉了我们什么

把《智能体建设地图》18 个行业的收录量排成一列,政务 59、金融 54、制造 54 领跑,法律 32 垫底,首尾相差不到一倍。这个"密度差"不是行业大小的排名…
📅 11-17 · 👁 2026年11月17日
一张地图,1263个智能体:企业该怎样读懂《智能体建设地图》 AI情报站

一张地图,1263个智能体:企业该怎样读懂《智能体建设地图》

CXOU AI 研究院出品的《智能体建设地图》,把 18 个行业、15 个职能域、223 个细分场景里的 1263 个智能体铺成一张可检索的版图。对大多数企业来…
📅 11-17 · 👁 2026年11月17日
曦选创智完成5亿元天使轮融资(信息图,非新闻实拍配图) AI情报站

曦选创智完成5亿元天使轮融资,投后估值40亿元

近日,由优必选与沐曦股份联合发起成立的具身智能端侧芯片公司曦选创智宣布完成5亿元天使轮融资,投后估值达到40亿
📅 11-17 · 👁 2026年11月17日