什么是 奖励模型（Reward Model）？
更新于
奖励模型（Reward Model）是一种学习得到的模型：它把上下文与候选行为映射为标量或结构化奖励代理，并通过偏好、结果或过程监督，预测特定评测规则更倾向哪种行为。
工作原理
奖励模型类型对应不同设计维度
Pairwise Model 学习候选之间的相对偏好，Pointwise Model 每次学习单个候选的标签或等级。Outcome Reward Model（ORM）评价完整结果，Process Reward Model（PRM）监督中间推理步骤；Generative Reward Model 则生成评语或判断，而不只是返回一个标量。这些分类并不互斥：监督格式、评分粒度和输出架构是三条独立设计轴。
Bradley-Terry 目标学习的是分数差
给定提示词 x、首选回答 y_w 和被拒回答 y_l，常见模型令 P(y_w > y_l | x) = sigmoid(r(x,y_w) - r(x,y_l))，其负对数似然为 softplus(-(r_w - r_l))。目标只依赖分数差，因此给两个分数同时加常数，概率和损失都不变。奖励为零没有内在含义；没有共享锚点或校准时，也不能直接比较不同 Checkpoint 的原始分数。
数据契约决定分数的含义
每条记录应保留 Prompt 与对话状态、候选文本及生成模型版本、Rubric 版本、评审群体、选择或平局、置信度、展示顺序、来源、同意与许可。由同一次排序派生的 Pair 必须进入同一 Split；可能泄漏的会话、用户、模板或源文档也要分组切分。InstructGPT 训练时把同一 Prompt 的比较放在一起，因为把这些相关 Pair 当成独立样本会快速过拟合。
评测要区分排序、概率与产品价值
留出集 Pairwise Accuracy 只回答首选项是否排在前面；Log Loss、Brier Score 和 Reliability Bin 才能评价成对概率与校准。还要检查 Margin、Tie、评审分歧，以及分数与长度、格式、拒答率或生成模型身份的相关性，并分别报告语言、领域、安全和难度切片。最后用未见 Prompt 与新策略输出做 Best-of-N 或策略优化评测，再以独立人工、任务和安全指标判断产品价值。
策略优化会制造新的分布漂移
策略开始针对奖励模型优化后，输出已经不是普通训练候选，而是经过搜索、专门取得高分的样本。此时代理奖励可能继续上升，独立质量却开始下降，即 Reward Overoptimization。模型集成和不确定性估计能暴露部分分歧，却无法消除共享捷径。生产系统应版本化模型、Tokenizer、Prompt Template、归一化、数据集、Rubric 与评测套件；独立门禁回退时必须停止训练或回滚。
奖励模型不等于所有评估器
Reward Function 是更宽泛的概念，可以是确定性规则、可执行测试、环境结果或学习模型。Verifier 根据可执行测试、形式化检查或学习得到的正确性信号判断某项性质；结果可客观验证时，它不必建模人类偏好。LLM-as-a-Judge 在推理时让语言模型排序、打分或生成评语，可以产出标签而不必是单独训练的奖励模型。DPO 直接使用偏好 Pair 优化策略，不要求额外训练显式奖励模型或运行在线奖励打分循环。
主要特点
- 学习的是特定 Rubric 与评审群体下的代理，而非普适效用或事实真值
- 可以使用 Pairwise、Pointwise、Outcome、Process 或生成式监督
- Bradley-Terry 成对目标只能识别分数差，不能确定绝对分数原点
- 可能正确排序固定候选，却无法泛化到经过新策略优化后的输出
- 容易受到标签偏差、数据泄漏、伪特征、分布漂移和奖励黑客影响
- 需要独立于奖励的评测、完整版本记录、线上监控和回滚标准
常见用途
- 为基于 PPO 的 RLHF 或其他策略优化器提供学习型奖励信号
- 在 Best-of-N 推理中从多个候选回答里选择最优结果
- 使用 ORM 评价完整答案，或使用 PRM 评价中间推理步骤
- 在数据策划中筛选生成样本，或确定人工复核优先级
- 监控新模型版本是否仍符合已经版本化的产品评分准则
示例
Loading code...常见问题
奖励模型是怎么训练的？
常见 LLM 奖励模型输入 Prompt 与候选回答，并从 chosen-rejected 比较学习。Bradley-Terry 目标会扩大首选回答相对被拒回答的分数差。其他设计也可以学习单点评级、最终结果、步骤标签或生成式点评，因此必须明确具体监督目标。
Outcome Reward Model 和 Process Reward Model 有什么区别？
ORM 评价完整答案或轨迹，PRM 则评价中间步骤。PRM 可以提供更密集的监督并定位推理从哪里出错，但它需要可信的步骤级标签，也不能仅凭过程分数保证最终结果正确。
奖励模型、LLM 评审和 Verifier 是一回事吗？
不是。LLM-as-a-Judge 是推理时评估模式，通常可以只靠 Prompt；Verifier 根据可执行测试、形式化检查或学习得到的正确性信号判断性质。二者都能提供标签或奖励，但都不自动等同于单独训练的偏好模型。
应该如何评估奖励模型？
使用按 Prompt 分组的留出数据，报告 Pairwise Accuracy、Log Loss、Brier Score 或校准分箱、Margin、Tie、评审分歧和领域、安全切片；再用未见 Prompt 与优化后策略输出，对照独立人工、任务和安全指标。没有共享锚点时不要比较不同 Checkpoint 的原始分数。
为什么奖励分数更高，模型反而可能更差？
优化过程会主动寻找代理模型学到的捷径，例如长度、格式或自信措辞。新策略输出因此偏离奖励模型训练分布，可能出现代理分数继续上升、独立质量却下降的现象。应使用独立留出门禁、新鲜人工标注、线上监控和回滚机制限制过度优化。