无需显卡也能跑! 40 核老旧服务器硬刚 2.8 万亿参数大模型,傲腾内存成破局利器

在人工智能参数规模不断膨胀的今天,动辄数万亿参数的巨型大模型往往需要依靠昂贵的高端显卡集群才能驱动。然而,近日有玩家在社区分享了一次极具极客精神的极限测试:他仅凭一台没有插显卡、搭载40核处理器的老旧服务器,竟然成功让月之暗面的2.8万亿参数大模型 Kimi K3运行了起来。

在人工智能参数规模不断膨胀的今天,动辄数万亿参数的巨型大模型往往需要依靠昂贵的高端显卡集群才能驱动。然而,近日有玩家在社区分享了一次极具极客精神的极限测试:他仅凭一台没有插显卡、搭载40核处理器的老旧服务器,竟然成功让月之暗面的2.8万亿参数大模型 Kimi K3运行了起来。

一、挑战硬件极限:巨型大模型遇上老旧服务器

作为一款体量庞大的混合专家模型,Kimi K3的总参数量达到了2.8万亿,每个 token 仅激活约1040亿参数,官方标称的上下文更是高达104万 token。

面对如此巨大的数据体量,哪怕将其压缩至极限的1bit 量化,也需要数百 GB 的内存才能装得下,这显然超出了普通家用主板的承载极限。为了突破这一硬件瓶颈,该玩家剑走偏锋,使用了一颗40核的第三代至强可扩展处理器,并搭配了英伟达已经停产的傲腾持久内存200系列,实现了单条最高512GB 的超大容量支持。

二、巧妙软件调配:盘活停产傲腾内存作为主存

在具体的软硬件协同方案上,该玩家借助 llama.cpp 软件,将傲腾持久内存设置为 App Direct 模式,让其直接作为内存供程序读写,而不是将其作为硬盘缓存由系统自行调度。

不过,这种非主流的平民化方案也必须付出运行速度上的代价:

生成效率: 在1bit 量化下,实测生成速度仅为每秒0.85个 token;若关掉直接访问(DAX)模式,速度最高也仅能达到每秒1.5个 token。

实际耗时: 当切换至3bit 量化时,速度约为每秒0.75个 token。这意味着让它写几百字需要等待好几分钟,而如果要输出5万个 token 则长达18.5小时。

温控挑战: 傲腾硬件本身的功耗和发热也不容忽视。根据英伟达的数据表,该代产品单条功耗上限为18瓦,当介质温度达到83摄氏度时便会开始降频,一旦飙升至85摄氏度则会触发保护性关机。

值得一提的是,英伟达早在2022年第二季度便启动了傲腾内存业务的收缩,当季度计入了5.59亿美元的库存减值,这也意味着该产品线已经没有后续的下一代产品,这次硬核运行更像是一次面向极限边缘的极客致敬与可行性验证。

💬 评论
🔗 本文链接

以专业为基,引领科技向善向新

Rooted in professionalism, we lead technology toward social good and innovation.

数智化转型网 · 了解更多产业资讯与选型数据 →

📰 你可能也喜欢

数智化转型网每日AI资讯 AI情报站

Anthropic 募资 904 亿剑指史上最大 IPO,认购已超六倍

据知情人士透露,Claude 开发商 Anthropic 的 IPO 已吸引到可供认购股票约六倍的订单,投资者对这桩有望成为有史以来最大股票发行的热情持续升温。…
📅 11-16 · 👁 2026年11月16日
数智化转型网每日AI资讯 AI情报站

OpenAI机器人业务转向”模型内整合”,具身智能纳入通用基础模型框架

11月13日,据外媒报道,OpenAI已解散独立机器人团队,原成员并入常规模型训练体系。内部判断认为,机器人只是通用模型的一类垂类任务,所需智能能力应在通用基础…
📅 11-16 · 👁 2026年11月16日
数智化转型网每日AI资讯 AI情报站

徐峥刷到自己的 AI 换脸视频愣了:有的真人演员还不如它

在近日举办的第四届表演教育国际论坛上,导演徐峥聊起自己初遇 AI 生成内容的经历。他说第一次刷到用自己脸做的 AI 换脸表演片段时,整个人都懵了——屏幕上那个&…
📅 11-16 · 👁 2026年11月16日
数智化转型网每日AI资讯 AI情报站

OpenAI 上市前夜再融 150 亿,估值推到 1.25 万亿美元

CNBC 11 月 13 日披露,OpenAI 刚敲定的新一轮私募融资规模达 150 亿美元(约 1,003 亿元人民币),把融资前估值推到 1.25 万亿美元…
📅 11-16 · 👁 2026年11月16日
数智化转型网每日AI资讯 AI情报站

Edge0 重磅开源 145B 端侧模型,内存狂省 60% 还能满血写代码

人工智能在端侧部署领域迎来了里程碑式的突破。开源项目 Edge0近日正式发布并开源了 Edge0-145B 与 Edge0-120B 模型,同时带来了一套统一的…
📅 11-16 · 👁 2026年11月16日
数智化转型网每日AI资讯 AI情报站

“Happy系列”再添一员,阿里以端到端整曲生成切入AI音乐赛道

阿里巴巴旗下AI音乐创作平台快乐虾米(HappyShrimp)正式上线iOS与安卓平台,登陆苹果App Store及各大安卓应用商店,App Store版本已更…
📅 11-16 · 👁 2026年11月16日