什么是 提示词回归测试（Prompt Regression Test）？
更新于
提示词回归测试（Prompt Regression Test）是一种可重复评估，用于将候选提示词或 LLM 应用配置与固定基线比较，在发布前发现先前已支持行为出现的不可接受退化。
工作原理
任务、试验、评分器与结果
任务（task）定义输入、环境和成功条件；试验（trial）是一次执行，因为同一任务多次运行可能产生不同表现；评分器（grader）使用代码、校准后的模型准则或人工判断测量一项要求。对于 Agent，结果（outcome）是外部环境的最终状态，轨迹则记录消息和工具调用。应优先评估结果：回答声称已退款，不如订单系统中真实退款状态可靠。
固定基线与配对比较
基线必须固定提示词版本、模型标识、参数、检索语料、工具定义和复现所需的应用代码。基线与候选要运行相同任务 ID，并使用可比环境，否则数据集或依赖变化会被误判为提示词回归。应保留逐任务配对结果，而不只比较两个全局均值，因为大量简单任务的小幅收益可能掩盖安全切片或高价值意图的严重退化。
评分器与不确定性
解析、schema、必需引用、工具参数、策略不变量和最终状态适合确定性评分器；相关性、语气等开放质量适合评分准则或成对模型评审，并需用专家标注校准。开放输出通常不应使用全文精确匹配。如果模型或评分器波动可能改变结论，应重复试验，并报告置信区间或其他有依据的不确定性估计，不能把单次分数差当成确定事实。
发布门禁与生产反馈
门禁必须在运行候选版本前定义：安全和授权失败零容忍，关键意图设置切片下限，整体质量、延迟、token 与成本设置允许变化范围。不能只看一个混合分数，还要检查新增失败任务。生产事故和代表性 trace 经隐私审查后应进入套件，同时保留未参与调优的留出集。回归测试提供发布前证据，上线后仍需漂移监控和受控在线实验。
主要特点
- 在相同任务身份上把候选版本与固定基线配对比较
- 当模型或评分器波动会影响结论时执行重复试验
- 按不同要求组合确定性、模型和人工评分器
- 同时检查整体结果和关键切片，而不是只看混合分数
- 覆盖真实失败、代表性流量、边界条件和对抗输入
- 负责发布前门禁，并把上线后的漂移检测作为独立控制
常见用途
- 把重写后的系统提示词与当前生产基线比较
- 发布前检查 schema、拒答、引用和工具策略不变量
- 在已有用户意图上评估模型或解码参数迁移
- 完成修复后重放已经确认的生产失败
- 关键结果或成本阈值退化时阻止 Agent 发布
示例
Loading code...常见问题
哪些变更应该触发提示词回归测试？
提示词或模板修改、模型和参数变化、检索或切分调整、工具 schema 与权限变化、评分器修订以及编排改动都应触发。测试范围要与影响面匹配：模型迁移通常需要完整套件，局部格式调整可以先运行相关切片。
为什么基线和候选结果要按任务配对？
配对能够控制任务难度，并明确显示哪些能力发生变化。若比较不同样本集或只看全局均值，数据构成变化可能制造虚假提升，还可能让其他任务的收益掩盖关键意图的回归。
提示词回归测试应该比较完整输出文本吗？
开放任务通常不应该，因为多种表达都可能正确。可解析性、枚举值、必填字段、工具权限和最终状态等确定性契约适合精确检查；语义质量则应使用经过校准的评分准则、成对评审或人工判断，并保留具体失败样本。
如何处理 LLM 测试中的非确定性？
在固定设置下重复试验，保留逐任务结果，并报告置信区间或事先选定的其他统计检验。不要只反复重跑失败用例直到通过。发布规则应区分可接受波动和实质回归，对安全与授权不变量则采用更严格的零容忍门禁。
生产样本应该加入回归测试集吗？
应该，但必须先完成隐私审查、去重和标注。真实事故与代表性流量可以保持套件有效，对抗和边界样本则保护高成本失败模式。同时应保留未参与调优的留出集，并定期检查样本分布，避免提示词反复针对熟悉的黄金数据集过拟合。