LFM2.5 DSpark草稿模型发布,推理速度最高飙升3. 18 倍

日前,Liquid AI 与 Hugging Face 正式发布了 LFM2.5系列三款核心模型的 DSpark 草稿模型检查点,包括 LFM2.5-1.2B-Instruct、LFM2.5-2.6B 以及 LFM2.5-8B-A1B。通过引入全新的投机解码路径,该技术在完全不改变模型输出质量的前提下,大幅提升了推理吞吐量。

日前,Liquid AI 与 Hugging Face 正式发布了 LFM2.5系列三款核心模型的 DSpark 草稿模型检查点,包括 LFM2.5-1.2B-Instruct、LFM2.5-2.6B 以及 LFM2.5-8B-A1B。通过引入全新的投机解码路径,该技术在完全不改变模型输出质量的前提下,大幅提升了推理吞吐量。

一、核心性能提升与应用表现

在实际测试中,DSpark 草稿模型展现出了亮眼的加速效果。在 GPU 端,整体吞吐量最高可提升3.18倍;在端侧设备上,最高提升幅度也能达到2.87倍。

特别是在端侧智能体(Agent)推理场景中,LFM2.5-2.6B 的函数调用延迟平均降低了57%。以 M4Max MacBook Pro 作为端侧测试平台时,其输出速度最高可达每秒139个 token,这使得本地运行智能体应用的门槛大幅降低,用户体验甚至超越了部分专有云模型。

二、DSpark 的工作原理与架构设计

传统的大语言模型推理阶段主要受限于内存带宽,绝大部分延迟来自于将模型权重从 DRAM 流式加载到 SRAM 的过程。投机解码的出现正是为了解决这一痛点,它利用一个轻量级的草稿模型快速生成候选 token,再由目标模型在单次前向传播中对其进行统一验证,从而将加载权重的成本有效分摊。

DSpark 在现有方法的基础上进行了深度融合,主要包含三个核心组件:

在模型训练方面,该草稿模型采用了包含 SFT、聊天、代码和函数调用在内的大规模且多样化的数据混合。经过严格的消融实验,最终确定的初始版本为仅注意力(attention-only)架构,包含5层和9个块,整体参数量控制在大约3亿左右。

三、质量对齐与推理生态支持

由于投机解码机制的特性,在贪心解码下,草稿 token 只有在与目标模型分布完全一致时才会被接受,一旦被拒绝就会由目标模型自身的 token 取代。因此,生成的输出序列在结构上与基线贪心解码完全保持一致,各项基准测试的准确率没有任何下降。

生态支持方面,DSpark 在发布首日便实现了对主流推理框架的兼容:

目前,相关的 Safetensors 和 GGUF 格式检查点均已在 Hugging Face 平台上开源,为开发者在从云端大规模加速器到端侧边缘设备的广泛部署提供了强有力的支持。

💬 评论
🔗 本文链接

以专业为基,引领科技向善向新

Rooted in professionalism, we lead technology toward social good and innovation.

数智化转型网 · 了解更多产业资讯与选型数据 →

📰 你可能也喜欢

数智化转型网每日AI资讯 AI情报站

Meta端出Muse Wonder对标GPT- 6 与Claude,内部代号”西瓜”、烤肉直播里剧透

Meta在当地时间周一甩出了全新一代尖端旗舰AI模型,摆明了要在人工智能竞赛里追上Anthropic与OpenAI的脚步。官方端上桌的有两款:Muse Wond…
📅 10-28 · 👁 2026年10月28日
数智化转型网每日AI资讯 AI情报站

编造月之暗面被带走谣言,两名男子被北京警方刑拘

为博流量编造"科技公司多人被带走"的谣言并在网上发布,两名男子现在为自己的一时冲动付出了代价。10月12日晚,北京警方通报了多起网络谣言处置…
📅 10-28 · 👁 2026年10月28日
数智化转型网每日AI资讯 AI情报站

AI 没抢走程序员饭碗?美初级码农就业反降 20%,专家忧十年后断档

据 CNBC 报道,自 2025 年 2 月 Anthropic 的 Claude Code 问世以来,美国软件开发职位发布量不降反增。Indeed Hirin…
📅 10-28 · 👁 2026年10月28日
数智化转型网每日AI资讯 AI情报站

​Claude Opus 5.5 Max 强势登顶智能体榜首,国产多模型稳居中上游

新一期 Arena AI 大模型周榜正式揭晓,各大厂商在综合、代码、智能体以及多媒体等多个分榜上展开了新一轮的实力较量。在这期榜单中,Anthropic 推出的…
📅 10-28 · 👁 2026年10月28日
数智化转型网每日AI资讯 AI情报站

阶跃 Step 5 Preview 登陆腾讯 WorkBuddy,限时免费两周

腾讯旗下全场景 AI 办公工作台 WorkBuddy 宣布接入阶跃最新旗舰模型 Step5Preview,即日起面向用户独家限时免费开放两周。依托模型的推理与智…
📅 10-28 · 👁 2026年10月28日
数智化转型网每日AI资讯 AI情报站

宇树科技王兴兴发声:过去犯的最大错误是不够相信 AI,具身智能临界点最快一两年内爆发

在第二十六届中国国际工业博览会开幕式上,国内具身智能头部企业宇树科技的创始人王兴兴发表了最新演讲。回顾创业历程,他坦承过去十几年里自己犯过的最大错误,就是对人工…
📅 10-28 · 👁 2026年10月28日