什么是 提示词 CI/CD（Prompt CI/CD）？
提示词 CI/CD（Prompt CI/CD）是把持续集成和持续部署实践应用到 LLM 应用中的提示词、模板和评估变更。
工作原理
提示词 CI/CD 承认提示词也是可执行的产品行为。一次提示词变更可能改善某个任务，同时破坏另一个任务、提高成本、削弱安全性或改变输出 schema。CI/CD 流程会运行回归测试、评估黄金数据集、检查结构化输出有效性、比较延迟和 token 使用量，并在新提示词触达用户前设置部署关卡。它还应支持金丝雀发布、回滚和审计轨迹。
主要特点
- 在提示词变更进入生产前运行自动检查
- 把提示词版本与黄金数据集、指标和发布关卡连接
- 测试质量、安全、结构化输出、延迟和 token 成本
- 支持金丝雀发布、回滚和事故调查
- 把提示词视为可部署应用工件
常见用途
- 阻止破坏 JSON 输出的提示词发布
- 比较系统提示词变更前后的答案质量
- 在 pull request 中运行安全和拒答测试
- 把新 RAG 提示词先发布到小流量
- 生产回退后回滚提示词
示例
loading...
Loading code...常见问题
为什么提示词需要 CI/CD？
提示词会像代码一样改变模型行为。CI/CD 能在影响用户前发现回归。
提示词 CI/CD 应测试什么？
应测试任务质量、拒答行为、结构化输出有效性、事实锚定、token 成本、延迟和已知失败用例。
提示词 CI/CD 可以完全自动化吗？
部分检查可以自动化，但高风险变更通常仍需要人工审查和分阶段发布。
提示词 CI/CD 和提示词版本管理有什么区别？
版本管理记录变更；CI/CD 评估、拦截、部署、监控和回滚这些变更。