一、AI对齐（Alignment）的目标是什么？
AI对齐（AI Alignment）是让模型的行为目标与人类意图、价值观保持一致的技术工作，其核心构成包括把人类价值观转化为奖励函数的价值对齐，以及LIME、SHAP等可解释性方法，解决的是模型输出偏离人类预期甚至危害社会的问题，并不解决人类价值本身存在分歧带来的标准难统一问题。
二、AI对齐（Alignment）包含哪些内容？
价值对齐（Value Alignment），将人类的抽象价值观（如公平、正义）转化为AI可理解的奖励函数。实现方式有：
– 逆强化学习（Inverse Reinforcement Learning, IRL）：通过观察人类行为反推奖励函数。
示例：训练自动驾驶系统时，通过人类驾驶数据推断“安全驾驶”的奖励规则。
– 人类反馈强化学习（RLHF）：让人类对AI输出排序，训练奖励模型指导AI行为。
案例：OpenAI使用RLHF微调ChatGPT，减少有害内容生成。
可解释性（Interpretability）
LIME（Local Interpretable Model-agnostic Explanations）：通过扰动输入数据，观察模型输出的敏感性，生成局部解释。示例：解释为何AI判定某医疗影像为“恶性”，指出关键病灶区域。
SHAP（Shapley Additive exPlanations）：基于博弈论量化特征对模型输出的贡献。应用：金融风控模型中，解释某用户贷款被拒的主因（如收入不足而非种族因素）。
