数字化转型网（Professionalism Achieves Leadership 专业造就领导者）人工智能专题
与全球关注人工智能的顶尖精英一起学习！数字化转型网建立了一个专门讨论人工智能技术、产业、学术的研究学习社区，与各位研习社同学一起成长！欢迎扫码加入！
当马斯克高调推出基于20万块GPU集群的Grok-3、Sam Altman在开源策略上反复权衡之际，DeepSeek悄然发布了一项可能改变游戏规则的技术。数字化转型网www.szhzxw.cn
2月18日，DeepSeek CEO公布了一项由梁文锋亲自参与的研究论文成果——原生稀疏注意力（Native Sparse Attention,NSA）机制。这是DeepSeek团队在稀疏注意力领域的创新性工作，结合了算法创新和硬件优化，旨在解决长上下文建模中的计算瓶颈。
DeepSeek论文显示，NSA不仅将大语言模型处理64k长文本的速度最高提升11.6倍，更在通用基准测试中实现性能反超传统全注意力模型。在全球AI竞赛转向”硬核创新”的当口，这家低调的中国公司展示了技术破局的新范式。
值得注意的是，NSA尚未应用于DeepSeek V3的训练中。这意味着，如果后续DeepSeek将NSA整合到模型训练中，其基座模型的能力有望实现显著提升。论文中明确指出：“使用NSA预训练的模型超过了全注意力模型”。
与DeepSeek形成鲜明对比的是，xAI选择了另一条道路：对工程规模的极致追求。2月18日马斯克发布的Grok3使用了20万块GPU集群，而未来的Grok4更是计划使用百万块GPU、1.2GW的集群。这种“财大气粗”的做法，体现了北美在AI领域一贯的“大力出奇迹”风格。
一、稀疏注意力：DeepSeek NSA的创新之道
“AI革命”狂飙突进，长文本建模在AI领域的重要性日益凸显。OpenAI的o-series模型、DeepSeek-R1以及Google Gemini 1.5 Pro等，都展示了处理超长文本的强大潜力。数字化转型网www.szhzxw.cn
然而，传统Attention机制的计算复杂度随序列长度呈平方级增长，成为制约大语言模型（LLM）发展的关键瓶颈。
稀疏注意力机制被认为是解决这一难题的希望所在。DeepSeek2月18日提出的NSA机制，正对去年5月MLA（Multi-Layer Attention）工作的补充。NSA的核心在于将算法创新与硬件优化相结合，实现了高效的长文本建模。
科技媒体AI寒武纪表示，NSA的三大关键创新包括：
动态分层稀疏策略：结合粗粒度Token压缩和细粒度Token选择，兼顾全局上下文感知和局部信息精确性。
算术强度平衡的设计：针对现代硬件进行优化，显著提升计算速度。
端到端可训练：支持端到端训练，减少预训练计算量，同时保持模型性能。
二、NSA的核心组件：三位一体，逐层优化
科技自媒体zartbot分析，NSA架构采用了分层Token建模，通过三个并行的注意力分支处理输入序列：
压缩注意力（Compressed Attention）：通过压缩Token块来捕获全局信息，处理粗粒度的模式。
选择注意力（Selected Attention）：处理重要的Token块，选择性地保留细粒度的信息。
滑动窗口注意力（Sliding Window Attention）：处理局部上下文信息。数字化转型网www.szhzxw.cn
这三个分支的输出通过一个门控机制进行聚合。为了最大化效率，NSA还专门设计了硬件优化的Kernel。
具体而言，NSA在Token Compression部分，基于block粒度进行压缩计算，并插入位置信息编码。在Token Selection部分，则巧妙地借用Compression的注意力分数作为block的重要性分数，进行top-N选择，以保留关键的细粒度信息。Sliding Window部分则负责处理局部上下文。最后，通过Gating函数综合三种注意力的输出。
三、实验结果：性能与效率的双重飞跃
根据DeepSeek发布的实验数据，NSA技术在多个方面展现出卓越表现。
在通用基准测试、长文本任务和指令推理方面，使用NSA预训练的模型性能不仅没有下降，反而超越了Full Attention模型。更重要的是，在处理64k长度的序列时，NSA在解码、前向传播和反向传播等各个阶段都实现了显著的速度提升，最高可达11.6倍，证明了NSA在模型生命周期各个阶段的效率优势。
AI寒武纪表示：数字化转型网www.szhzxw.cn
“DeepSeek的NSA技术为长文本建模带来了新的突破。它不仅在性能上超越了传统的Full Attention模型，更在效率方面实现了显著的提升，尤其是在长序列场景下。NSA的硬件友好设计和训推一体化特性，使其在实际应用中更具优势，有望加速下一代LLM在长文本处理领域的应用落地。”
科技媒体信息平权表示，NSA论文中隐藏了一个“彩蛋”：
“DeepSeek此次使用了Triton，而没有提及英伟达专用库和框架。Triton底层可以调用CUDA，也可以调用其他计算平台的框架，如AMD的ROCM，甚至国产计算卡。结合NSA降低了浮点算力和内存占用门槛的特性，这或许暗示了DeepSeek在模型研发阶段，就已经开始考虑未来适配更多类型计算卡，为更广泛、更普遍的开源做准备。”
四、xAI的Grok3：算力堆砌的“极致”
与DeepSeek形成鲜明对比的是，xAI选择了另一条道路：对工程规模的极致追求。Grok3使用了20万块GPU集群，而未来的Grok4更是计划使用百万块GPU、1.2GW的集群。这种“财大气粗”的做法，体现了北美在AI领域一贯的“大力出奇迹”风格。数字化转型网www.szhzxw.cn
然而，信息平权的分析指出，尽管xAI通过超大集群在短时间内实现了对之前SOTA（State-of-the-Art）模型的反超，但其投入产出比并不理想。相比DeepSeek V3，xAI以50倍的成本实现了30%的性能提升。这表明，单纯在预训练阶段投入巨额算力，其收益可能并不如预期，将资源投入到RL（强化学习）后训练阶段可能更为划算。
声明：本文来自网络，版权归作者所有。文章内容仅代表作者独立观点，不代表数字化转型网立场，转载目的在于传递更多信息。如有侵权，请联系我们。数字化转型网www.szhzxw.cn
本文由数字化转型网（www.szhzxw.cn）转载而成，来源于华尔街见闻；编辑/翻译：数字化转型网Jack
