数字化转型网（Professionalism Achieves Leadership 专业造就领导者）人工智能专题
与全球关注人工智能的顶尖精英一起学习！数字化转型网建立了一个专门讨论人工智能技术、产业、学术的研究学习社区，与各位研习社同学一起成长！欢迎扫码加入！
以下是对每个训练阶段及其工作内容的简要说明：
第一步：他们使用数千个冷启动数据点对基础模型（DeepSeek-V3-Base）进行微调，以奠定坚实的基础。仅供参考，与大规模监督学习通常需要的数百万甚至数十亿个标注数据点相比，数千个冷启动数据点只是很小的一部分。
第二步：应用纯 RL（类似于 R1-Zero）来提高推理能力。
第三步：在 RL 接近收敛时，他们使用拒绝采样，即模型通过从上次成功的 RL 运行中选择最佳示例来创建自己的标记数据（合成数据）。你听说过 OpenAI 使用更小的模型为 O1 模型生成合成数据的传言吗？基本上就是这样。
第四步：将新的合成数据与 DeepSeek-V3-Base 在写作、事实质量保证和自我认知等领域的监督数据合并。这一步确保了模型可以从高质量的输出和多样化的特定领域知识中学习。
第五步：使用新数据进行微调后，模型在不同的提示和场景中进行最后的 RL 流程。
那么为什么DeepSeek-R1要使用多阶段流程呢？因为每一步都建立在上一步的基础上。
声明：本文来自网络，版权归作者所有。文章内容仅代表作者独立观点，不代表数字化转型网立场，转载目的在于传递更多信息。如有侵权，请联系我们。数字化转型网www.szhzxw.cn
本文由数字化转型网（www.szhzxw.cn）转载而成，来源于网络；编辑/翻译：数字化转型网（Professionalism Achieves Leadership 专业造就领导者）默然。
