什么是 强化学习？
强化学习（Reinforcement Learning，RL）是一种机器学习范式：智能体从环境交互或日志经验中学习连续决策策略，目标是在给定环境和时间范围内最大化期望累积奖励。
快速了解
| 全称 | Reinforcement Learning |
|---|---|
| 创建时间 | 1980 年代，由 Richard Sutton 和 Andrew Barto 正式确立 |
| 规范文档 | 官方规范 |
工作原理
智能体与环境接口定义问题
在步骤 t，Agent 接收 Observation，从合法 Action Space 选择动作，Environment 返回 Reward 与下一观测，整段序列组成 Trajectory。Return 聚合未来奖励，通常带 Discount Factor；Policy 把观测映射为动作或动作概率。当智能体无法看到满足 Markov Property 所需的全部信息时，应区分 State 与 Observation。
价值、策略和环境模型是不同选择
Value-Based 方法估计期望回报并从价值导出动作，Policy Gradient 直接优化参数化策略，Actor-Critic 同时学习两者。Model-Based RL 使用已知或学习得到的转移模型规划，Model-Free RL 不显式建立环境模型。On-Policy 与 Off-Policy 描述由哪种行为分布提供更新数据，不等同于是否使用环境模型。
经验可以来自在线交互或离线日志
Online RL 在学习时改变数据分布，探索会同时影响证据和真实结果；Offline RL 只使用固定 Behavior Dataset，不能假设未覆盖动作也有可靠价值估计。两者都可能受覆盖不足、延迟反馈、部分可观测、非平稳环境、仿真偏差和 Reward Misspecification 影响。
评测行为，而不只看奖励
当脚本规则、监督学习、Contextual Bandit 或传统控制能解决问题时，应把它们纳入 Baseline。报告 Return 分布、成功率与违规率、Sample Efficiency、多随机种子稳定性、对奖励和环境变化的敏感度、延迟，以及从危险或终止状态恢复的能力。真实环境探索前还需要约束测试或人工批准。
主要特点
- 围绕连续决策的期望累积回报优化策略
- 把经验表示为有顺序的观测、动作、奖励与转移
- 需要处理延迟后果与 Credit Assignment
- 在探索未知信息和利用现有策略知识之间权衡
- 可以在线交互学习，也可以从固定日志离线学习
- 对奖励设计、数据覆盖、环境偏移和不安全探索敏感
常见用途
- 在环境动力学可复现的游戏或仿真器中学习策略
- 通过仿真与安全约束验证后的机器人控制
- 动作会影响未来容量的调度或资源分配
- 在明确 Behavior Policy 覆盖条件下从历史决策日志学习
- 根据学习或可验证反馈优化语言模型策略
示例
Loading code...常见问题
强化学习与监督学习有什么区别？
监督学习通常从固定数据集中为每个样本拟合目标；强化学习通过奖励与后续结果评估动作，而且策略可能改变下一步会观察到的数据。广义上 RL 仍包含监督信号：Reward Function、Demonstration、Preference、Simulator 和行为日志都编码了设计假设。
Reward 和 Return 有什么区别？
Reward 是一次状态转移返回的标量反馈，Return 则聚合未来一段时间的 Reward，并常使用折扣。只优化即时 Reward 可能损害长期 Return；即使 Return 很高，如果奖励遗漏安全、公平或业务约束，策略仍可能产生不符合预期的行为。
Model-Based 与 Model-Free RL 有什么区别？
Model-Based 方法使用已知或学习得到的环境动力学预测结果或规划；Model-Free 方法不显式建立转移模型，而是学习价值函数、策略或两者。Model-Free 不代表不需要数据，Model-Based 也不代表环境模型一定正确，两者都要测试模型误差和分布偏移。
什么是 Offline Reinforcement Learning？
Offline RL 只从其他 Behavior Policy 采集的固定数据集学习，训练期间不进行在线探索。它避免了实时试错，却可能对数据支持范围之外的动作产生不可靠价值估计。评测应记录行为策略覆盖、保守基线、Off-Policy Evaluation 假设和部署约束。
RLHF 与强化学习是什么关系？
部分 RLHF 流程先从偏好数据训练 Reward Model，再用 PPO 等强化学习算法优化语言模型 Policy；另一些对齐方法不经过显式 RL 循环。Human Feedback、学习型 Reward 和 Policy Optimization 是不同组件，任何一个都不能单独保证系统有用或安全。