AMD 推出 vLLM-ATOM 插件,深度优化国产大模型推理表现

近日,AMD 正式发布了名为 vLLM-ATOM 的全新插件。这款工具的核心使命是在维持现有工作流不变的前提下 […]

近日,AMD 正式发布了名为 vLLM-ATOM 的全新插件。这款工具的核心使命是在维持现有工作流不变的前提下,显著榨取硬件潜能,为 DeepSeek-R1、Kimi-K2以及 gpt-oss-120B 等主流大语言模型的推理过程实现大幅提速。

对于开发者而言,vLLM 是一套旨在优化高并发场景下吞吐量与显存利用率的开源框架。与传统的单次调用工具不同,它更专注于请求调度与缓存管理。而此次 AMD 推出的 ATOM 插件,则是一套专为 Instinct GPU 打造的深度定制方案。它最大的亮点在于“无感迁移”:企业用户无需修改现有的 API 接口、命令或端到端操作流程,插件即可在后台自动接管并完成底层的性能优化。

从技术架构上看,vLLM-ATOM 采用了精密的三层设计。顶层继续沿用 vLLM 的请求调度与兼容接口;中间层的 ATOM 插件则负责模型实现与内核调优;而最底层的 AITER 则直接对接 GPU 硬件,提供包括 Flash Attention、量化 GEMM 以及融合 MoE 在内的核心加速能力。

这一插件主要面向 Instinct MI350、MI400以及 MI355X 等高性能 GPU 计算卡。在支持列表中,不仅涵盖了 Qwen3、GLM、DeepSeek 等明星模型,还实现了对 MoE(混合专家模型)、稠密模型以及视觉语言模型(VLM)等多种架构的全覆盖。

行业分析人士指出,该方案的核心价值在于极大地降低了高性能算力的部署门槛。通过这种“零学习成本”的平滑迁移方案,企业可以更轻松地将 AI 服务切换至 AMD 硬件后端,在保证推理效率的同时,有效提升了大模型在线服务的稳定性和响应速度。

💬 评论
🔗 本文链接

以专业为基,引领科技向善向新

Rooted in professionalism, we lead technology toward social good and innovation.

数智化转型网 · 了解更多产业资讯与选型数据 →

📰 你可能也喜欢

数智化转型网每日AI资讯 AI情报站

DeepMind成立新研究院,四篇文章直面AGI关键问题

谷歌与谷歌DeepMind研究人员于9月16日成立DeepMind研究院,旨在推动围绕通用人工智能(AGI)的跨学科讨论。研究院董事包括DeepMind联合创始…
📅 10-20 · 👁 2026年10月20日
数智化转型网每日AI资讯 AI情报站

谷歌最强数学推理模型曝光:代号 Mathematica,100 万词元上下文专攻数学难题

爆料称谷歌正基于 DeepThink V3 模型,构建内部代号为 Mathematica 的实验 AI 模型。该模型主要针对繁重计算与复杂的符号问题求解进行特别…
📅 10-20 · 👁 2026年10月20日
数智化转型网每日AI资讯 AI情报站

SpaceX AI 部门盯上破产初创公司数据:将用来训练Grok

据知情人士透露,SpaceX 旗下人工智能部门 SpaceXAI 正在进行非正式的内部讨论,考虑从陷入困境或已经倒闭的初创公司手里收购客户及运营数据,用来训练 …
📅 10-20 · 👁 2026年10月20日
数智化转型网每日AI资讯 AI情报站

Anthropic重构Claude Code项目功能,多线程并行执行任务

Anthropic重构Claude Code项目功能,新增多线程并行协作机制。用户只需描述项目目标,协调员即可将任务拆分并分配至多个独立“线程”,每个线程均在独…
📅 10-20 · 👁 2026年10月20日
数智化转型网每日AI资讯 AI情报站

OpenAI 推出 Astra for Law:索引 2.3 亿 URL,法律问答正确率 54% 力压通用模型 15 个百分点

OpenAI 于9月17日发布博文,推出定位法律专用的人工智能基础平台 Astra for Law。它的底气来自数据规模:法律搜索索引覆盖超过2.3亿个 URL…
📅 10-20 · 👁 2026年10月20日
数智化转型网每日AI资讯 AI情报站

谷歌最强 Gemini 4 Pro 开测 SVG 生图惊艳

据网友反馈,谷歌正在以“gemini-3.8-flash”的名称,在 Arena 等基准平台上测试其最强模型 Gemini4Pro,内部开发代号为 Argon。…
📅 10-20 · 👁 2026年10月20日