什么是 KTO（Kahneman-Tversky Optimization）？
更新于
KTO（Kahneman-Tversky Optimization）是一种离线 LLM 对齐目标，使用分别标记为 Desirable 或 Undesirable 的单条 Prompt-Response 样本训练，而不要求每个 Prompt 都有 Chosen-Rejected Pair。
快速了解
| 规范文档 | 官方规范 |
|---|
工作原理
数据契约
KTO 样本由一个 Prompt-Response Pair 与二元标签组成，Desirable 与 Undesirable 记录不必共享 Prompt，这与 DPO 的 Chosen-Rejected Triple 不同。应为每类任务定义标签含义，保留来源与 Policy Version，去除重复和泄漏，并按 Prompt 而不是 Response 划分评测集，避免近重复样本跨越训练与测试集合。
目标函数与 Implicit Reward
KTO 属于论文定义的 Human-Aware Loss。它根据可训练 Policy 与 Reference Policy 的 Log-Probability Ratio 形成 Implicit Reward，再将每个带标签 Output 与基于 KL Divergence 估计的 Reference Point 比较。Desirable Output 因高于参考点而获得正向效用，Undesirable Output 因低于参考点而获得正向效用；这是一种可微训练目标，不是所有用户偏好的字面心理模型。
Reference Model 与参考点
标准 KTO 使用冻结 Reference Policy 衡量可训练 Policy 的偏移，KL 派生的 Reference Point 让效用成为相对值，而不是孤立看每个 Log Probability。原论文也研究了无 Reference Model 变体，但标准 KTO 表现更好。Reference Checkpoint、Tokenizer、Chat Template、Sequence Truncation 与 Beta 都应作为版本化实验输入。
类别平衡与标签质量
Desirable 与 Undesirable 样本通过独立权重贡献 Loss，因此有效类别比例会改变优化。论文在其实验中报告了对显著不平衡的鲁棒性，但这不是新领域的保证。应审计数量与来源，对比加权和分层实验，检查逐类 Loss，并保留专家标注的 Holdout。Click、Regeneration 或 Ticket Outcome 只有在混杂因素被理解后才能作为偏好标签。
方法选择与评测
当可靠的非成对二元反馈明显比成对比较更容易取得时，可以选择 KTO；两类数据都存在时，应在同一协议下与 SFT 和 DPO 等成对方法比较。评测要覆盖盲测 Pairwise Quality、任务成功、事实性、安全、风格、拒答校准、能力保持、子群体行为和推理成本。原论文的 1B 至 30B 结果是对应实验设置的证据，不代表普遍优越。
主要特点
- 非成对监督：每个 Prompt-Response 样本独立携带 Desirable 或 Undesirable 标签
- 前景理论效用：相对 KL Reference Point 衡量 Gain 与 Loss
- Implicit Reward：用 Policy 与 Reference 的 Log-Probability Ratio 代替独立 Reward Model
- 逐类别权重：可以分别调整 Desirable 与 Undesirable 样本贡献
- 离线优化：使用固定数据集训练，不依赖在线 PPO Rollout Loop
- 实证选择：适用性取决于标签语义、数据组合、模型规模与留出任务结果
常见用途
- 使用经过审核的点赞与点踩反馈训练，而不重建 Response Pair
- 利用已经审计因果含义的任务级接受或拒绝结果
- 在每位 Reviewer 只看到一个候选回答时对齐助手
- 按同一评测协议比较非成对 KTO 数据与成对 DPO 数据
- 在不训练独立 Reward Model 或运行在线 PPO Loop 的情况下执行离线后训练
示例
Loading code...常见问题
KTO 和 DPO 有什么区别？
DPO 使用同一 Prompt 的 Chosen 与 Rejected Response，Loss 直接比较一对输出；KTO 接受分别带 Desirable 或 Undesirable 标签的单条 Prompt-Response 记录，并把每个 Output 的 Implicit Reward 与 Reference Point 比较。因此两者需要不同数据契约，也应在同一留出任务上比较。
KTO 是否需要 Reward Model 或 PPO？
不需要。与直接偏好方法类似，KTO 使用闭式 Loss 优化语言模型，不需要单独训练标量 Reward Model，也不需要在线 PPO Rollout Loop；但标准 KTO 会使用冻结 Reference Policy 与估计的 KL Reference Point。
KTO 是否需要 Reference Model？
标准形式需要。原论文评测过无 Reference Model 的变体，虽然可以工作，但表现不如标准 KTO。若实现支持预计算 Reference Log Probability 或通过 Adapter 节省显存，应确认目标函数与 Checkpoint 处理仍符合实验设计。
KTO 能直接训练原始点赞和点踩日志吗？
只有在审计事件含义之后才可以。位置、延迟、用户群、是否展示替代答案、重复 Session、Policy 变化与误触都可能混淆标签。训练前应保留 Provenance、去重、保护隐私、定义排除规则，并建立人工审核的 Holdout。
KTO 是否优于 DPO？
没有普遍结论。KTO 论文在其 1B 至 30B 实验设置中报告了匹配或超过偏好方法的结果，也报告了对不平衡数据的较强表现，但同时明确没有一种 Human-Aware Loss 对所有场景都最优。应由数据可用性、标签质量、模型、超参数和任务评测决定。