什么是 提示词 CI/CD（Prompt CI/CD）？
提示词 CI/CD（Prompt CI/CD）是对影响大模型应用行为的变更进行受控集成、评测、发布、监控和回滚的工程实践。
工作原理
提示词 CI/CD 不把提示词变更视为孤立文本编辑，而是完整行为发布的一部分。发布身份应包含提示词与模板制品、模型修订、解码参数、工具 Schema 与授权策略、检索快照、输出 Schema、评测数据集、评估器和路由策略。
持续集成应先运行确定性契约，再执行任务专属的概率评测。Capability Suite 判断候选能否完成新任务；Regression Suite 保护已验收行为，结果应接近既定通过线。Baseline 与 Candidate 必须使用相同 Case ID；生成存在随机性时保留重复 Trial；每个声明的风险 Slice 都要有有效分母；比较配对 Delta 与不确定性，不能只看两个互相独立的平均数。
持续交付把已批准的不可变发布包送入 Shadow Traffic、受控 Canary 或实验，监测生产 Outcome 与安全 Guardrail，并能够恢复完整且兼容的已知良好依赖。离线 Eval、在线实验与生产监控回答不同问题，不能压缩为一个分数。结果缺失、Grader 漂移、基础设施错误与数据集变化都属于无效证据，既不能算作 Candidate 失败，也不能静默放行。
主要特点
- 使用不可变发布清单标识完整行为包
- 在概率评分前运行 Schema、策略、授权和预算等确定性检查
- 通过配对 Case、重复运行和关键风险切片比较基线与候选
- 使用具有代表性的盲化人工标签校准自动 Judge
- 分离离线回归证据与受控在线实验
- 把提示词、模型、工具、检索、Schema 和路由作为兼容发布整体回滚
常见用途
- 阻止不再满足下游 JSON Schema 的发布
- 按任务与风险切片比较模型或提示词候选和已批准基线
- 高影响变更的 Judge 证据不足时强制人工复核
- 使用预先声明的产品指标与安全护栏运行灰度
- 生产回归后恢复不可变的已知良好发布包
示例
Loading code...常见问题
为什么只有提示词文本版本还不够？
同一文本在模型、解码、工具、检索、Schema 或路由变化后可能产生不同结果。发布身份必须覆盖真正经过评测和部署的完整依赖包。
Prompt CI/CD 离线门禁应该测试什么？
应测试确定性契约、任务质量、已知失败、安全与授权、输出兼容性、延迟和 Token 预算、重复运行方差及重要生产切片。Baseline 与 Candidate 应按 Case ID 配对；必要切片缺失时直接失败；基础设施或 Grader 故障应标记为无效证据，不能计入模型失败。
离线 Eval 与 Prompt A/B 测试有什么区别？
离线 Eval 在用户暴露前使用受控数据检查已知契约；A/B 测试在候选通过前置门禁后估计真实流量效果，二者不能互相替代。
LLM-as-Judge 能自动批准提示词发布吗？
经过校准的 Judge 可以提供证据，但高风险或模糊变更仍需要确定性控制，有时还需人工裁决。Judge 自报 Confidence 不是经过校准的正确率。
Prompt CI/CD 回滚需要恢复哪些内容？
应恢复完整已知良好发布身份：提示词、模型修订、参数、工具与策略、检索索引、输出 Schema、解析器和路由配置。