什么是 测试时计算(Test-Time Compute)?
更新于
测试时计算(Test-Time Compute)是指在不更新基础模型权重的前提下,通过更长轨迹、多候选采样、部分解搜索、验证或迭代修订,为单个问题显式分配额外推理计算。
快速了解
| 创建时间 | 2024 年(OpenAI o1 系列) |
|---|---|
| 规范文档 | 官方规范 |
工作原理
三类推理扩展方式
单轨迹扩展让一次响应继续生成、修订或使用更多内部计算;叶子级扩展生成多个完整候选,再用多数投票、奖励模型、确定性检查器或期望效用归并;前缀级扩展则通过 Beam、Best-first 或树搜索扩展和剪枝部分状态。
三类方法的延迟与成本不同。并行采样可用相近总计算换取比顺序搜索更低的墙钟时间;更长轨迹可能只是重复同一误解;前缀搜索则额外引入评估调用与协调成本。
生成器、验证器与归并规则
扩展既要发现候选,也要规定如何选择或聚合候选。在有边界的任务中,确定性测试、形式化检查器或环境结果可以提供强证据;多数投票只度量答案一致性,学习型验证器也可能与生成器共享偏差,或偏爱文风流畅但错误的推理。
Coverage 表示生成集合中至少存在一个正确候选的概率,不等于最终选中答案的准确率。缺少可靠归并器时,继续生成只会扩大候选池,却未必让系统识别出正确结果。
预算分配与停止
生产策略应以模型调用次数、生成与验证 Token、FLOPs、工具调用、墙钟 Deadline 或货币成本等可测单位声明预算,并说明任务是串行还是并行,以及什么证据允许提前停止。
给所有请求统一配置大预算会浪费简单任务资源,也可能在验证器不擅长的任务上放大错误。初始难度估计、小样本分歧、验证器 Margin、剩余 Deadline 与预期价值可用于分配预算,但每个信号都必须在目标工作负载上校准。
评测与失败模式
不同策略必须在端到端 Compute 相同的条件下比较,并把基础模型、Prompt、Sampler、答案归一化、验证器、停止规则、硬件、并发和故障处理纳入发布身份。除准确率或效用外,还应报告延迟分位数、总计算、成本、拒判和未解决故障。
额外推理可能因候选高度相关、验证器薄弱或可被利用、答案归一化错误、搜索坍缩、过早停止、超时和开放任务不可验证而失效。高风险决策仍需独立证据与确定性控制;更长推理不是安全保证。
主要特点
- 发生在推理阶段:按问题增加计算,不改变基础 Checkpoint
- 包含多类机制:更长轨迹、完整候选采样和部分状态搜索都属于该范畴
- 依赖验证能力:只有候选能够被可靠比较时,覆盖率增益才可转化为结果
- 预算显式:调用、Token、FLOPs、工具、延迟和金额都是资源
- 受任务难度影响:最佳策略与预算随任务和基础模型能力变化
- 按完整系统评测:除候选覆盖外,还衡量选择准确率、延迟、成本、故障和停止
常见用途
- 并行生成多个代码补丁,只选择通过隔离式确定性测试的候选
- 生成多条数学解法,并在选择前使用可靠答案检查器
- 在 Deadline 内扩展部分计划,由校准验证器剪枝低价值分支
- 让简单请求单次执行,把更大推理预算路由给经过资格判断的困难请求
- 在质量与总成本相同口径下比较小模型扩展推理和大模型单次推理
示例
Loading code...常见问题
普通自回归生成是单次前向传播吗?
不是。Decoder-only 语言模型通常会连续执行多个前向步骤,每次生成一个 Token,并复用 KV Cache。测试时扩展是在选定基线之外增加计算,例如延长轨迹、生成更多候选、搜索、外部验证、工具调用或修订。
增加测试时计算一定能提高准确率吗?
不一定。收益取决于任务、基础模型、候选多样性、验证器和预算。额外计算可能重复相关错误、迎合可利用的评分器,或浪费在不可验证任务上。应测量质量与成本曲线,并在边际价值不足时停止。
Self-Consistency 与 Best-of-N 有什么区别?
Self-Consistency 采样多条推理路径,再聚合归一化后的最终答案,通常按频率选择;Best-of-N 则对完整候选打分并选取最高分。答案一致性本身是较弱验证器;外部检查器能使用更强任务证据,但其错误与成本也必须计入。
测试时计算的成本应该如何衡量?
应报告完整系统预算,包括生成器与验证器调用、输入、输出及可见的推理 Token、可获得时的 FLOPs、工具工作量、并发、延迟分位数、失败和货币成本。某个模型或任务上的 Token 倍数不能当作通用成本规律。
推理模型与测试时计算是同一个概念吗?
不是。推理模型可能提供投入更多内部推理计算的控制,但测试时计算范围更广,可以在任何适合的模型外增加采样、搜索、外部验证或迭代修订。模型、推理策略、验证器与停止规则是系统中的不同部分。