什么是 冷启动（Cold Start）？
更新于
冷启动（Cold Start）是缺少可用模型服务容量时触发的启动区间，从明确定义的需求事件开始，到新建或恢复的副本通过就绪检查或返回首次有效推理响应为止。
快速了解
| 规范文档 | 官方规范 |
|---|
工作原理
生命周期与就绪边界
应记录单调递增的 Milestone：Demand Observed、Capacity Assigned、Image Available、Weights Verified and Resident、Distributed Workers Joined、Runtime Initialized、Representative Warmup Passed、Endpoint Registered 与 First Valid Response。
Readiness Probe 应覆盖生产实际需要的模型路径，而不是只检查 TCP Socket。分片模型只有在所需 Rank 与通信拓扑全部健康后才算就绪；失败启动和重试也必须计入 Cold Path 结果。
缓解策略与代价
Minimum Replica 与 Warm Pool 用空闲成本换取绕过 Cold Path。更小或量化后的 Artifact 只有在满足同一质量与兼容性契约时，减少传输字节才有意义。节点本地权重缓存、并行校验下载、预构建 Kernel、分阶段初始化和预测式扩容分别优化不同阶段。
Checkpoint/Restore 可以把工作移出请求链路，但 Artifact 会绑定 Runtime、Driver、Hardware 与安全状态；[NVIDIA Dynamo Snapshot](https://developer.nvidia.com/blog/nvidia-dynamo-snapshot-fast-startup-for-inference-workloads-on-kubernetes)只是带明确限制的一种实现，不是通用捷径。
测量与容量规划
Cold 与 Warm 样本必须分开，按模型 Artifact、Region、Node Type、Storage Path、Runtime Revision 和 Trigger 报告 p50/p95/p99、失败率及各阶段耗时。还要记录容量初始化期间的 Queue Growth，因为启动更快但过早接流量可能恶化用户可见 Tail Latency。
使用真实 Idle Gap 与 Burst 回放，再依据产品 SLO 和总成本选择 Warm-capacity Floor 与 Scale Lead Time。[Google Cloud GPU 指南](https://docs.cloud.google.com/run/docs/configuring/services/gpu-best-practices)可作为特定平台参考，但其控制项和时延不能自动外推。
主要特点
- 从缺少可用容量时的需求事件开始，在显式就绪事件结束
- 可能包含调度、镜像、权重、加速器、Runtime、Warmup、健康检查和注册
- 可由 Scale-from-zero、扩容、发布、故障切换或 Worker 替换触发
- 不同于普通 TTFT、冷 Prefix Cache 和稳态推理延迟
- 在空闲预热容量成本、尾延迟与突发韧性之间权衡
- 必须按分布分析，并纳入启动失败和排队请求
常见用途
- 让 Readiness Probe 等待代表性推理 Warmup 完成
- 为交互式模型选择 Minimum Replica 或 Warm Pool 容量
- 比较远端、节点本地、共享内存或 Snapshot 权重加载
- 测量发布与故障切换的容量恢复且避免过早接流量
- 把启动延迟与稳态 TTFT、Decode 性能分离
示例
Loading code...常见问题
冷启动与 TTFT 是一回事吗？
不是。冷启动描述容量从不可用变为就绪；TTFT 衡量单次请求从约定起点到首个输出 Token。请求落到冷副本时，TTFT 可能包含启动时间；Warm Request 也有 TTFT，但没有冷启动。应分别报告两种边界。
AI 模型副本什么时候才算真正就绪？
只有所需权重已校验并驻留、Worker 与 Collective 健康、Runtime 初始化和代表性 Warmup 通过、路由注册完成后才算就绪。容器 Running 或端口已打开可能早于模型可用，不能因此接收普通流量。
如何降低 LLM 冷启动时间？
先测出主导阶段，再分别处理：Warm Capacity 缓解资源调度，精简且经过验证的镜像减少拉取，Local/Parallel Storage 加速权重，兼容的预编译 Artifact 缩短 Runtime 初始化，受支持时可使用 Checkpoint/Snapshot Restore。每项优化都要经过真实 Cold Path 基准和回滚验证。
推理服务应该 Scale to Zero 吗？
当空闲成本比启动时延更重要，例如异步或低频任务，可以 Scale to Zero；交互服务若冷启动分布无法满足 SLO，则需要 Warm Floor。决策应基于到达模式、排队容忍度、恢复要求和总成本，而不是统一规则。
应该如何基准测试冷启动？
重复触发真实 Cold State，记录全部 Milestone、重试和失败；按 Artifact、Region、Hardware、Storage 与 Trigger 报告分位数、Queue Growth 和 First-valid-response Latency。不要把 Warm Request 混入同一平均值，也不要比较就绪定义不同的系统。