什么是 上置信界（Upper Confidence Bound）？
上置信界（Upper Confidence Bound）是一种基于乐观原则的动作选择方法，它通常用经验估计加不确定性奖励，选择仍然可信的最高潜在回报动作。
快速了解
| 规范文档 | 官方规范 |
|---|
工作原理
乐观原则把不确定性变成定向探索
常见随机 Bandit Index 由经验均值和一个置信半径组成；半径随 log(t) 增长，随该臂 Pull Count 增加而缩小。因此，未尝试或证据不足的动作无需额外随机硬币也会获得探索机会。Auer、Cesa-Bianchi 与 Fischer在有界、平稳奖励下给出了 UCB1 等策略的有限时间分析。
理论保证只属于特定模型
UCB1 的实例相关对数 Regret 假设奖励来自固定有界分布的独立抽样。重尾、均值变化、依赖、延迟归因、删失反馈、上下文错设或任意调过的 Bonus 都可能使结论失效。KL-UCB 使用分布相关散度，UCB-V 使用方差信息，LinUCB 构造线性上下文置信域；这些公式与保证不能互换。
验证置信机制，而不只看奖励
应追踪经验均值、Bonus、Pull Count、动作 Gap、实际奖励、模拟中的 Pseudo-regret、不安全选择及受控变化后的恢复。使用重复 Seed，在相同 Horizon 和 Delay Process 下与 Greedy、Epsilon-greedy、Thompson Sampling 比较。Bubeck 与 Cesa-Bianchi区分实例相关和 Minimax 分析，避免把有利的渐近速率包装为通用性能保证。
主要特点
- 用价值估计加探索奖励为每个动作评分
- 以乐观原则把探索导向可能高价值的动作
- 随相关观测积累逐步缩小不确定性
- 包含有界、方差感知、上下文和核方法变体
- 置信假设必须匹配奖励与噪声行为
- 初始化和 Tie-breaking 固定后可采用确定性选择
常见用途
- 在有界平稳备选方案之间分配流量
- 用不确定性感知分数探索推荐内容
- 在已验证线性奖励模型下选择上下文动作
- 结合高斯过程代理选择昂贵评估点
- 为在线实验建立可审计的探索基线
示例
Loading code...常见问题
上置信界如何平衡探索与利用？
估计均值偏向历史表现好的动作，不确定性奖励偏向证据较少的动作，策略选择二者之和最大的方案。随着某动作被反复观察，其 Bonus 通常缩小，因此系统可以检验未知可能性，而无需永久做均匀随机探索。
UCB 分数一定是校准过的置信区间吗？
只有估计器、半径、概率水平和数据假设共同支持时才能这样解释。许多实现只是调节一个 UCB-like Bonus。若未核对有界性、依赖、自适应和多轮覆盖，就不能把这种启发式分数称为统计置信界。
UCB 与 Thompson Sampling 有什么区别？
UCB 选择乐观上界，在 Tie-breaking 后通常是确定性的；Thompson Sampling 从后验抽取一个可能模型，再选择该模型下的最优动作。两者都利用不确定性，但假设、随机化方式、诊断和失败模式不同。
UCB 如何处理从未观测过的动作？
公式不能直接除以零。常见实现会先拉取每个合格臂一次、赋予无限初始 Index，或使用先验和正则化模型。具体选择会改变冷启动曝光，而且仍必须遵守安全与资格约束。
奖励随时间漂移时 UCB 还能工作吗？
经典 UCB1 假设各臂均值固定。发生漂移时，旧观测会使估计与置信半径失真。Sliding Window、Discount、Change Detection 或显式非平稳变体可能有帮助，但必须重新定义 Comparator，并按预期漂移过程验证。