数字化转型网（Professionalism Achieves Leadership 专业造就领导者）人工智能专题
在解析DeepSeek 之前，需要先了解几款模型。
DeepSeek发布了两款模型，分别为 DeepSeek-R1 和 DeepSeek-R1-Zero。
构建这两个模型的目标是相似的，都是为了提升模型的推理能力。
特别是在数学、代码和复杂问题解决方面，但它们确实还是有一些不同。
简单来说，DeepSeek-R1 是一个更成熟、更实用的版本，而 DeepSeek-R1-Zero 是一个探索性的“纯强化学习”模型。
DeepSeek-R1-Zero 完全依靠强化学习（RL）进行训练，没有经过监督微调（SFT）。
也就是说，Zero 模型在训练时，是自己在探索可靠的推理方式。
“它在自己训练自己的思维”。
这样就带来了一些问题，比如 Zero 容易生成重复内容、可读性差、语言混杂。
为什么呢？
因为 Zero 只专注探索推理思维了，并没有给它喂足够的高质量知识，所以它虽然思维能力很好，但话却说不出来。
这就导致了它的回答效果很差。
而 DeepSeek-R1 在强化学习之前，先加入了冷启动数据进行微调（SFT），让模型从一开始就具备基础的语言和推理能力，之后再用强化学习优化推理能力。
这样可以减少 R1-Zero 版本的缺点，提高回答质量和可读性。
所以，可以认为 DeepSeek-R1 是在 R1-Zero 的基础上，通过额外的训练步骤优化了推理质量，避免了重复回答、提高了可读性，并且能更好地对齐人类偏好。
如果你想研究强化学习如何影响大模型推理能力，可以看看 DeepSeek-R1-Zero。
但如果你想要一个更稳定、可用性更高的推理大模型，DeepSeek-R1 显然是更好的选择。
