什么是 LLMOps？
LLMOps（大语言模型运维）是对大模型应用的完整行为进行开发、评估、发布、观测和持续改进的工程与治理体系。
快速了解
| 全称 | 大语言模型运维（Large Language Model Operations） |
|---|---|
| 规范文档 | 官方规范 |
工作原理
LLMOps 在 DevOps 与 MLOps 基础上管理所有可能改变生成式应用行为的依赖，包括应用代码、Prompt、模型与供应商修订、生成参数、检索语料和索引、工具 Schema 与授权策略、输出契约、安全策略、评估器和路由。成熟流程会把这些依赖绑定为不可变发布身份，在概率评估前运行确定性契约，让获批候选经过 Shadow 或 Canary 交付，把生产 Trace 和成本归因到准确发布，并在事故中恢复兼容的已知良好发布包。LLMOps 是一种运营模型，并不等于必须采购某个平台。完整生命周期见<a href="https://qubittool.com/zh/blog/enterprise-llmops-architecture-guide">企业级 LLMOps 架构指南</a>。
主要特点
- 以端到端应用行为而非单个 Prompt 或模型作为发布单元
- 统一版本化代码、Prompt、模型、检索、工具、策略、输出契约、评估器和路由
- 区分确定性契约、离线评估、线上实验和生产监控的证据边界
- 让不可变候选版本经过风险专项审批、Shadow 流量和受控 Canary 晋级
- 把 Trace、被验收用户结果、策略决策和成本关联到准确发布身份
- 将完整发布包回滚与副作用对账、事故驱动评估集更新结合
常见用途
- 复现某次回答使用的模型、Prompt、索引、工具策略和解析器
- 阻断违反输出、授权、安全、延迟或预算契约的候选版本
- 在代表性任务和风险切片上比较候选发布与获批基线
- 在不默认记录完整 Prompt 的情况下诊断生产回归
- 事故后恢复兼容的已知良好发布，并对外部动作进行对账
示例
Loading code...常见问题
LLMOps 与 MLOps 有什么区别？
MLOps 运营数据、训练流水线、模型制品、Serving 和漂移控制。LLMOps 继承这些实践，并把 Prompt、检索快照、工具、授权、输出契约、安全策略、评估器和路由纳入需要发布和运营的行为范围。
LLMOps 只是 Prompt 管理吗？
不是。Prompt Registry 只管理一种制品，生产行为还取决于代码、模型修订、生成参数、检索、工具、授权、解析器、策略、评估器和路由。LLMOps 治理的是这些制品的兼容组合。
LLMOps 需要版本化哪些内容？
应版本化每项影响行为的依赖：源码与构建、Prompt、模型、参数、语料与索引、工具 Schema 与策略、输出 Schema 与解析器、安全策略、路由、评估数据集、评估器和 Runner。
LLMOps 团队应监控什么？
应监控服务健康、发布身份、模型与检索行为、工具和策略结果、被验收用户结果与完整成本。原始内容只有在明确的隐私、访问、留存和采样控制下才应采集。
LLMOps 必须使用专用平台吗？
不必。团队可以从经过 Review 的发布清单、CI Job、评估报告、Dashboard 和 Runbook 开始。只有平台能消除已经证实的协作或规模瓶颈，并保留可迁移身份和可导出证据时，才值得引入。