数智化转型网szhzxw.cn 人工智能资讯 每日人工智能资讯|加速国产大模型:AMD推出vLLM-ATOM插件大幅提升推理效率

每日人工智能资讯|加速国产大模型:AMD推出vLLM-ATOM插件大幅提升推理效率

AMD近日正式发布了专为大语言模型部署设计的vLLM-ATOM插件。该插件旨在不改变现有工作流的前提下,显著优化DeepSeek-R1、Kimi-K2 等主流国产大模型在AMD硬件上的推理性能。

作为面向高并发场景的开源推理框架,vLLM一直以显存利用率高而著称。此次AMD推出的插件提供了更贴合其Instinct系列GPU的优化方案,确保开发者能以极低的学习成本实现技术迁移。

一、实现性能平滑升级

vLLM-ATOM插件的核心优势在于“零成本”部署,用户无需改动原有的API或端到端工作流。插件会在后台自动接管并优化请求调度与内核调优,使得现有服务能平滑迁移至AMD硬件后端。

从架构设计上看,该插件分为三层:顶层负责兼容OpenAI接口,中间层负责模型实现与路由,底层则提供核心GPU内核。这种结构有效集成了混合专家模型(MoE)及量化技术,为大规模部署提供了保障。

二、广泛适配算力生态

该插件重点面向AMD旗下的Instinct MI350 及MI400 系列高性能GPU。它不仅支持Qwen3、GLM等主流中文大语言模型,还全面覆盖了稠密模型、混合专家模型以及视觉语言模型(VLM)等多种应用场景。

随着vLLM-ATOM的推出,AMD进一步降低了企业级AI部署的门槛。通过对DeepSeek-R1 等顶尖模型的深度优化,这一工具将帮助更多开发者利用AMD算力资源,实现更高效、更稳定的在线AI服务转化。

若您对人工智能感兴趣,可添加数智化转型网小助手思思微信加入人工智能交流群。若您在寻找人工智能供应商,可联系数智化转型网小助手思思(17757154048,微信同号)

思思微信二维码

若您为人工智能服务商,可添加数智化转型网小助手Nora,加入人工智能行业交流群。

Nora微信二维码

若您为人工智能创业者,可添加数智化转型网社群主理人Carina,加入人工智能创业交流群。

Carina微信二维码

声明:本文来自数智化转型网,版权归作者所有。文章内容仅代表作者独立观点,不代表数智化转型网立场,转载目的在于传递更多信息。如有侵权,请联系我们。

底部图片
免责声明: 本网站(http://www.szhzxw.cn/)内容主要来自原创、合作媒体供稿和第三方投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。 本网站刊载的所有内容(包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等) 版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时,请及时通知本站,予以删除。https://www.szhzxw.cn/118356.html
联系我们

联系我们

17717556551

邮箱: editor@cxounion.org

关注微信
微信扫一扫关注我们

微信扫一扫关注我们

关注微博
返回顶部