8GB显存也能玩转128K超长上下文!开源本地大模型工具Strata 0.2. 10 发布

开源本地 AI 工具Strata近日正式迎来了0.2.10版本更新。作为一款专为消费级显卡设计的本地大模型运行神器,本次更新在降低显存门槛、提升推理速度以及优化多显卡协同方面带来了突破性进展,让普通电脑运行千亿参数大模型变得更加轻松。

开源本地 AI 工具Strata近日正式迎来了0.2.10版本更新。作为一款专为消费级显卡设计的本地大模型运行神器,本次更新在降低显存门槛、提升推理速度以及优化多显卡协同方面带来了突破性进展,让普通电脑运行千亿参数大模型变得更加轻松。

显存大幅瘦身:8GB 显卡如何玩转128K 超长上下文?

在以往的本地运行场景中,如果用户尝试在8GB 显存的设备上开启64K 甚至更高的上下文,往往会因为专家缓存空间耗尽而直接导致启动失败,甚至不得不妥协降至48K 左右。

而在 Strata0.2.10中,官方优化了底层资源分配机制:当显存不足时,系统会优先动态调整显存与内存之间的数据分配,尽最大可能保留用户设置的上下文长度。这意味着,用户现在完全可以在8GB 显存的设备上成功启动 Qwen3.8IQ3_S 等大模型,并维持高达128K(即131,072Token)的超长上下文。

其核心原理在于,Strata 会根据实时显存余量自动缩减驻留在 GPU 中的 KV 缓存窗口,必要时还会将部分缓存平摊至系统内存或硬盘。官方测试数据显示,在8GB 显存限制下开启 DFlash2模式时,生成速度可达63至73Token/s;即便是使用英特尔 Arc A7508GB 真实显卡,也能顺利启动128K 上下文并保持12.7至14.8Token/s 的生成速度。

不过,开发者也需要注意:显存硬件的压力虽然通过内存和固态硬盘得到了分摊,但也对电脑的内存配置提出了更高要求。官方建议,内存容量最好达到32GB 起步,48GB 较为合适,拥有64GB 内存才能真正从容应对各类复杂场景。

默认启用 DFlash2加速器:额外节省4GB 显存

本次更新的另一大核心亮点,是将全新的 DFlash2正式设为了默认的推测解码器。

作为一种高效的推测解码技术,DFlash2的基本逻辑是让一个轻量化的辅助模型提前预测接下来的生成内容,再交由主模型进行批量验证。相比此前使用的 MTP 推测层需要占用约5.2GB 的显存空间,DFlash2的显存占用直接大幅压缩至约625MiB,单此一项就额外节省了约4GB 的宝贵显存。

在生成速度方面,无论是 Windows 端搭载的 Ryzen AI Max、RTX PRO5000,还是苹果的 Apple M5Max 等设备,DFlash2均展现出了明显的单请求性能优势。不过,传统的 MTP 在多并发处理和硬件兼容性上依然保有独特长处,官方因此将 DFlash2定位为单请求场景下的优先策略。

多显卡分工再升级:代码编辑生成速度接近翻倍

针对拥有多张显卡的硬核极客用户,Strata0.2.10引入了全新的 All-cards Split Engine(多卡联合分割引擎)。

过去多显卡运行模型时,通常是将模型的不同层机械地分配到不同显卡上;而新版本则支持多张显卡共同处理模型的每一层,让它们同时参与并行计算。官方测试表明,在使用两张 RTX A6000在 Linux 系统下运行模型时,代码编辑任务的处理速度直接从过去的195Token/s 飙升至377至394Token/s,性能接近翻倍。

专属编程模型与 Agent 体验优化

为了满足开发者的深度需求,新版本还引入了名为 ISTA-DAS Coder 的编程专用模型。该模型基于 DeepSeek-V4.1-Flash 进行专家裁剪,在保留强大编程与 Agent 能力的同时降低了冗余开销。不过,由于其模型权重与 Engram 数据文件体积较大,首次完整下载和运行仍需要较大的存储空间支持。

此外,针对智能体(Agent)和日常图形界面的交互痛点,0.2.10版本进行了全方位的修复与升级:

当 AI 回复较长时,界面上的 Approve 和 Deny 审批按钮不会再因页面滚动而被遮挡。

允许子 Agent 接收用户后续追加的指令。

历史对话的自动摘要功能会优先匹配用户原本的语言习惯。

在 AI 正在生成内容时,用户可以自由选择等待、排队发送新消息或直接中断。

支持精准引用之前的某轮对话或选中的特定文本。

优化了 Claude Code 遇到上下文溢出时的报错提示,引导其尝试进行自动压缩。

修复了 Windows 在特定后台启动场景下因磁盘读取优先级过低导致模型加载变慢的 Bug。

目前,Strata 已经全面覆盖 Windows、macOS 和 Linux 平台,图形界面用户可通过内嵌的更新通道直接升级至最新版本,终端用户则可以通过相关命令完成更新。

💬 评论
🔗 本文链接

以专业为基,引领科技向善向新

Rooted in professionalism, we lead technology toward social good and innovation.

数智化转型网 · 了解更多产业资讯与选型数据 →

📰 你可能也喜欢

数智化转型网每日AI资讯 AI情报站

蚂蚁阿福获世界互联网大会领先科技奖 成为首个获得该奖的健康AI应用

11月2日,在2026年世界互联网大会上,蚂蚁集团旗下的健康AI蚂蚁阿福获得“领先科技奖”,成为首个获得该奖项的健康垂类AI应用。目前,蚂蚁阿福已服务1.5亿用…
📅 11-13 · 👁 2026年11月13日
数智化转型网每日AI资讯 AI情报站

ChatGPT 要能主动挂断危险对话,屡犯者直接封号

过去要靠用户自己收手,如今 AI 先把话筒抢过来。OpenAI 日前宣布,未来几周将给 ChatGPT 加上更硬的暴力内容闸门:当对话持续围绕暴力或严重伤害他人…
📅 11-13 · 👁 2026年11月13日
数智化转型网每日AI资讯 AI情报站

六步实现音视频联合生成!Pika基于MiniMax H3 重磅开源Pika H3 Flex

近年来,人工智能在视听创作领域的迭代速度令人目不暇接。近日,知名AI视频创作平台 Pika 宣布推出基于 MiniMax H3的全新衍生模型 —— Pika H…
📅 11-13 · 👁 2026年11月13日
数智化转型网每日AI资讯 AI情报站

破解AI长期记忆瓶颈,阿里云赋能Personal Agent迈向深度个性化

11月2日,阿里云宣布对其Memory服务进行全面升级,重点面向Personal Agent场景增强用户偏好、计划及历史约定的长期记忆与个性化处理能力,并全面提…
📅 11-13 · 👁 2026年11月13日
数智化转型网每日AI资讯 AI情报站

韩国史上最大预算案:820 万亿韩元,AI 与半导体成绝对主角

一份刷新本国纪录的财政账单,把宝押在了 AI 与半导体上。11 月 2 日,韩国总统李在明在国会公布 2027 年预算案:总支出较上一年增长 12.8%,达到 …
📅 11-13 · 👁 2026年11月13日
数智化转型网每日AI资讯 AI情报站

北京出台智能眼镜消费政策:购新补贴15%,单件最高500元

北京市商务局近日印发《促进智能眼镜消费政策指南》,推出七项支持举措,从购新补贴、首店首发、品牌联名、国际化消费场景、离境退税、数字化转型到国际市场开拓等方面,推…
📅 11-13 · 👁 2026年11月13日