阿里巴巴旗下Qwen团队宣布推出全新偏好建模模型系列——WorldPM，包括WorldPM-72B及其衍生版本WorldPM-72B-HelpSteer2、WorldPM-72B-RLHFLow和WorldPM-72B-UltraFeedback。这一发布引发了全球AI开发者社区的广泛关注，被认为是偏好建模领域的重要突破。
WorldPM:偏好建模的规模化新探索
WorldPM（World Preference Modeling）是Qwen团队在偏好建模领域的最新力作。根据官方介绍，该模型通过对1500万条偏好数据的超大规模训练，验证了偏好建模遵循与语言建模相似的规模化定律(scaling laws)。这一发现意味着，随着数据和模型规模的扩展，偏好模型能够学习到统一的偏好表示，从而显著提升模型在监督学习中的表现。
WorldPM-72B系列基于72亿参数规模打造，专为评估和优化其他模型的输出而设计。官方表示，与从零开始训练相比，基于WorldPM进行微调能够显著提升性能，尤其在需要捕捉人类偏好的场景中表现优异。这一特性使其成为强化学习和监督微调的理想工具，为开发者提供了高效的模型优化路径。
开源战略:赋能全球开发者
Qwen团队一如既往地秉持开源精神，WorldPM系列模型均在Apache2.0许可下发布，现已登陆Hugging Face平台，供全球开发者免费下载和使用。这种开放策略不仅降低了技术门槛，还进一步巩固了Qwen在全球开源AI生态中的领先地位。X平台上的开发者反馈显示，WorldPM的发布被誉为“开源模型生态的新里程碑”，尤其在监督学习和偏好评估领域引发热烈讨论。
值得注意的是，WorldPM并非通用的对话模型，而是专注于为其他模型提供偏好评分和优化指导。例如，开发者可以利用WorldPM-72B对生成式AI的回答进行打分，从而提升模型在特定任务上的表现。这种专业化的定位使其在AI研发链中扮演了关键角色。
技术亮点:规模与效率的平衡
WorldPM的研发过程中，Qwen团队收集了来自公共论坛的多样化偏好数据，覆盖多个用户社区，确保了模型在不同文化和语言背景下的适应性。训练数据规模达到1500万条，结合1.5B到72B参数的模型架构，WorldPM展现了强大的泛化能力。官方技术报告指出，WorldPM在对抗性评估中表现出色，测试损失呈幂律下降，表明模型能够有效识别包含故意错误的回答以及不相关或不完整的回答。
此外，WorldPM在风格偏见上的优化也值得关注。随着模型规模的扩大，WorldPM逐渐呈现出风格中立的特点，克服了主观评估中常见的偏见问题。这使其在客观领域的表现尤为突出，尤其在编码、数学等需要精确推理的任务中展现了显著优势。
