标签：RLHF

RLHF 是把人类偏好作为奖励信号来微调大语言模型的方法，通常先做监督微调、再训练奖励模型拟合人类偏好、最后用强化学习算法优化策略，核心是让模型的输出从能生成内容变成符合人类期望与价值观的表达，能力包括偏好数据采集、奖励模型训练与强化学习策…

2017 年 Google 团队发表《Attention Is All You Need》提出 Transformer 架构，7 年后这个架构成为所有大模型的「基础母语」——GPT、LLaMA、

强化学习的理论核心是 **Bellman 方程**，由 Richard Bellman 在 1957 年提出（他在 RAND 公司工作期间）。Bellman 方程描述了一个智能体在环境中做决策时，长期累积回报的最优求解方式。

RLHF（基于人类反馈的强化学习）的优势主要有三点：对齐人类满意度带来的输出质量提升，学习特定情境下的细微差别与文化偏好带来的适应性，纳入人类价值观后减少有害与不合伦理内容的保障，解决的是通用模型好用却不被人类接受的问题，并不解决模型知识范…

RLHF（Reinforcement Learning from Human Feedback，基于人类反馈的强化学习）的基本流程包括初步训练、生成候选输出、收集人类反馈、构建奖励模型与策略优化五步，解决的是模型输出难以对齐人类价值取向，并…