
了解 DeepSeek 如何实现 V3 和 R1 突破,以及组织如何在模型创新如此迅速出现时利用它们。
上个月,DeepSeek 的发布震惊了生成式人工智能世界,让工程师和开发人员想知道该公司是如何实现其成就的,以及他们如何利用自己的技术堆栈中的技术。
DeepSeek 团队建立在人工智能社区中已经已知但尚未完全应用的发展之上。结果是一个模型在性能上似乎与 Meta 的 Llama 3.1 等领先模型相当,但构建和训练的成本只是其中的一小部分。
最重要的是,DeepSeek 将其工作作为开放获取技术发布,这意味着其他人可以从中学习,并为大型语言模型 (LLM) 和相关技术创造一个更具竞争力的市场。
以下是 DeepSeek 如何实现突破的一瞥,以及当此类创新如此迅速出现时,组织必须采取哪些措施来利用它们。
一、DeepSeek模型内部
DeepSeek 在 12 月底和 1 月下旬发布了两个模型:DeepSeek V3,一个规模可与 GPT-4 相媲美的强大基础模型;以及 DeepSeek R1,专为复杂推理而设计,基于 V3 基础。以下是每个的技术策略。
1、深度搜索 V3
精准训练的新组合: DeepSeek 利用 8 位精度矩阵乘法实现更快的运算,同时实现自定义逻辑以正确的精度累积结果。他们还利用了 WGMMA 并行运算符(发音为“wagamama”)。
将多代币预测提升到一个新的水平:显然受到 Meta 法国研究团队的启发,该团队率先同时预测多个代币,DeepSeek 利用增强的实现技术进一步推动了这一概念。
专家对“常识”的使用:专家混合 (MoE) 的基本概念类似于根据任务激活大脑的不同部分——就像人类通过仅参与必要的神经回路来节省能量一样。传统的 MoE 模型将网络拆分为有限数量的“专家”(例如,八名专家),并且每个查询只激活一两个。DeepSeek 引入了一种更精细的方法,结合了 Microsoft Research 最初探索的一个想法——一些“常识”需要由始终保持活动状态的模型组件来处理。
2、深度搜索 R1
大规模奖励推理:就像 AlphaGo Zero 仅根据游戏规则学习下围棋一样,DeepSeek R1 Zero 从基本奖励模型中学习如何推理——这在这种规模上尚属首次。虽然这个概念并不新鲜,但成功地将其应用于大规模模型是前所未有的。DeepSeek 的研究捕捉到了一些深刻的时刻,例如 DeepSeek R1 Zero 自己意识到花更多时间思考会带来更好的答案的“顿悟时刻”(我希望我知道如何教它)。
策划“冷启动”:DeepSeek R1 模型还利用了更传统的方法,结合了来自 DeepSeek V3 的冷启动数据。虽然现阶段似乎没有涉及突破性的技术,但耐心和细致的策划可能在其发挥作用方面发挥了至关重要的作用。
DeepSeek 的这些进步证明了开放研究,以及它如何帮助人类进步。最有趣的下一步之一? Hugging Face 的优秀团队已经在努力在其 Open R1 项目中重现 DeepSeek R1。
二、法学硕士不可知论的重要性
人工智能的限制因素不会是发现商业价值或模型质量。至关重要的是,公司与人工智能合作伙伴保持不可知论的战略。
DeepSeek 表明,押注单个 LLM 提供商将是一场失败的游戏。一些组织将自己锁定在单一供应商中,无论是 OpenAI、Anthropic 还是 Mistral。但新参与者在一个周末内颠覆格局的能力清楚地表明:公司需要一种与法学硕士无关的方法。
多 LLM 基础设施避免了供应商“锁定”的危险,并随着市场的发展更容易在模型之间集成和切换。从本质上讲,这通过确保公司人工智能之旅的可选性,使任何法学硕士决策都面向未来。
企业还必须通过谨慎的治理来保持控制。DeepSeek 和快速崛起的代理 AI 世界展示了 AI 领域已经变得多么混乱和快速发展。在开源推理模型和供应商快速增加的世界中,工程团队需要保持严格的测试、强大的护栏和持续监控。
如果您能够满足这些需求,像 Deepseek 这样的技术将通过增加竞争、降低成本并开辟更多公司可以利用的新用例,对所有企业都产生巨大的积极影响。
若您对人工智能感兴趣,可添加数字化转型网小助手思思微信加入人工智能交流群。若您在寻找人工智能供应商,可联系数字化转型网小助手思思(17757154048,微信同号)

若您为人工智能服务商,可添加数字化转型网小助手Nora,加入人工智能行业交流群。

若您为人工智能创业者,可添加数字化转型网社群主理人Carina,加入人工智能创业交流群。

声明:本文来自网络,版权归作者所有。文章内容仅代表作者独立观点,不代表数字化转型网立场,转载目的在于传递更多信息。如有侵权,请联系我们。数字化转型网www.szhzxw.cn

本文由数字化转型网(www.szhzxw.cn)转载而成,来源于网络;编辑/翻译:数字化转型网(Professionalism Achieves Leadership 专业造就领导者)默然
