数字化转型网（Professionalism Achieves Leadership 专业造就领导者）人工智能专题
与全球关注人工智能的顶尖精英一起学习！数字化转型网建立了一个专门讨论人工智能技术、产业、学术的研究学习社区，与各位研习社同学一起成长！欢迎扫码加入！
港科大助理教授何俊贤的团队（共同一作黄裕振、Weihao Zeng），只用了8K个样本，就在7B模型上复刻出了DeepSeek-R1-Zero和DeepSeek-R1的训练。
结果令人惊喜——模型在复杂的数学推理上取得了十分强劲结果。
项目地址：https://github.com/hkust-nlp/simpleRL-reason
他们以Qwen2.5-Math-7B（基础模型）为起点，直接对其进行强化学习。
整个过程中，没有进行监督微调（SFT），也没有使用奖励模型。
最终，模型在AIME基准上实现了33.3%的准确率，在AMC上为62.5%，在MATH上为77.2%。
这一表现不仅超越了Qwen2.5-Math-7B-Instruct，并且还可以和使用超过50倍数据量和更复杂组件的PRIME和rStar-MATH相媲美！数字化转型网www.szhzxw.cn
其中，Qwen2.5-7B-SimpleRL-Zero是在Qwen2.5-Math-7B基础模型上仅使用纯PPO方法训练的，仅采用了MATH数据集中的8K样本。
Qwen2.5-7B-SimpleRL则首先通过Long CoT监督微调（SFT）作为冷启动，然后再进行强化学习。
在这两种方法中，团队都只使用了相同的8K MATH样本，仅此而已。
大概在第44步的时候，「啊哈时刻」出现了！模型的响应中，出现了自我反思。
并且，在这个过程中，模型还显现了更长的CoT推理能力和自我反思能力。
在博客中，研究者详细剖析了实验设置，以及在这个强化学习训练过程中所观察到的现象，例如长链式思考（CoT）和自我反思机制的自发形成。
与DeepSeek R1类似，研究者的强化学习方案极其简单，没有使用奖励模型或MCTS（蒙特卡洛树搜索）类技术。
他们使用的是PPO算法，并采用基于规则的奖励函数，根据生成输出的格式和正确性分配奖励：
- 如果输出以指定格式提供最终答案且正确，获得+1的奖励
- 如果输出提供最终答案但不正确，奖励设为-0.5
- 如果输出未能提供最终答案，奖励设为-1
该实现基于OpenRLHF。初步试验表明，这个奖励函数有助于策略模型快速收敛，产生符合期望格式的输出。
第一部分：SimpleRL-Zero（从头开始的强化学习）
接下来，研究者为我们分享了训练过程动态分析和一些有趣的涌现模式。
- 训练过程动态分析
如下所示，所有基准测试的准确率在训练过程中都在稳步提高，而输出长度则呈现先减少后逐渐增加的趋势。
经过进一步调查，研究者发现，Qwen2.5-Math-7B基础模型在初始阶段倾向于生成大量代码，这可能源于模型原始训练数据的分布特征。
输出长度的首次下降，是因为强化学习训练逐渐消除了这种代码生成模式，转而学会使用自然语言进行推理。
随后，生成长度开始再次增加，此时出现了自我反思机制。
训练奖励和输出长度
基准测试准确率（pass@1）和输出长度
- 自我反思机制的涌现
在训练到第 40 步左右时，研究者观察到：模型开始形成自我反思模式，这正是DeepSeek-R1论文中所描述的「aha moment」（顿悟时刻）。
第二部分：SimpleRL（基于模仿预热的强化学习）
如前所述，研究者在进行强化学习之前，先进行了long CoT SFT预热，使用了8,000个从QwQ-32B-Preview中提取的MATH示例响应作为SFT数据集。数字化转型网www.szhzxw.cn
这种冷启动的潜在优势在于：模型在开始强化学习时已具备long CoT思维模式和自我反思能力，从而可能在强化学习阶段实现更快更好的学习效果。
与RL训练前的模型（Qwen2.5-Math-7B-Base + 8K QwQ知识蒸馏版本）相比，Qwen2.5-7B-SimpleRL的平均性能显著提升了6.9个百分点。
此外，Qwen2.5-7B-SimpleRL不仅持续优于Eurus-2-7B-PRIME，还在5个基准测试中的3个上超越了Qwen2.5-7B-SimpleRL-Zero。
- 训练过程分析
训练奖励和输出长度
基准测试准确率（pass@1）和输出长度
Qwen2.5-SimpleRL的训练动态表现与Qwen2.5-SimpleRL-Zero相似。
有趣的是，尽管研究者先进行了long CoT SFT，但在强化学习初期仍然观察到输出长度减少的现象。
他们推测，这可能是因为从QwQ提取的推理模式不适合小型策略模型，或超出了其能力范围。
因此，模型选择放弃这种模式，转而自主发展新的长链式推理方式。
最后，研究者用达芬奇的一句话，对这项研究做了总结——简约，便是最终极的精致
声明：本文来自网络，版权归作者所有。文章内容仅代表作者独立观点，不代表数字化转型网立场，转载目的在于传递更多信息。如有侵权，请联系我们。数字化转型网www.szhzxw.cn
本文由数字化转型网（www.szhzxw.cn）转载而成，来源于网络；编辑/翻译：数字化转型网（Professionalism Achieves Leadership 专业造就领导者）默然。
