什么是 vLLM？
更新于
vLLM 是执行受支持语言、多模态、Embedding、Scoring 等模型工作负载的开源 Library 与 Server Runtime。它组合请求调度器、分页 KV Cache 管理、优化模型执行和版本化服务 Frontend。它可能在合适负载上改善容量或吞吐，但不保证更低延迟、完整 API 等价、模型质量、安全租户隔离或生产就绪。
快速了解
| 全称 | vLLM 大模型推理与服务引擎 |
|---|---|
| 规范文档 | 官方规范 |
工作原理
绑定引擎、制品与执行路径
原始 [PagedAttention 论文](https://arxiv.org/html/2309.06180)按 Block 分配 KV State，以减少碎片并支持特定共享方式；论文吞吐增益只属于被测模型、硬件、负载和历史 Baseline。
当前 vLLM 把分页 Cache 与连续调度、Chunked Prefill、Prefix Caching、Speculative Decoding、Quantization、Structured Output、部分 Tool / Reasoning Parser、多模态任务和多种并行策略组合。部署时固定 Engine 或 Image Digest、Model / Tokenizer Revision、Chat Template、Generation Default、Quantization、Context Limit、Topology、Plugin、Parser、Kernel 与全部行为 Flag。
显式测试 API 兼容与安全
[OpenAI-compatible Server](https://docs.vllm.ai/en/latest/serving/openai_compatible_server.html)实现文档列出的 Endpoint 和 vLLM 扩展行为，不代表与托管 Provider 普遍等价。针对准确 Release 测试受理或忽略的 Parameter、Template 要求、Streaming Event、Structured Output、Usage、Tool Parsing、Error、Cancellation 与 Request Identity。
当前[安全指南](https://docs.vllm.ai/en/latest/usage/security/)说明分布式通信默认不安全，内置 API Key 也不保护所有 Endpoint；因此还需隔离网络、Reverse Proxy、TLS、Endpoint Allowlist、Authorization、媒体与请求限制、Egress Control、Provenance、补丁和回滚。
按质量合格容量评测
长 Prompt / Output、大 n、多模态输入、Parallel Sampling、Preemption、Cache Pressure、通信与慢客户端都会改变排队和尾延迟。在准确制品与硬件上重放代表性的 Arrival Rate、Burstiness、Concurrency、输入输出长度、Warmup 与功能组合。
将[生产指标](https://docs.vllm.ai/en/latest/usage/metrics/)绑定到部署 Revision，因为名称与语义遵循弃用周期。除任务质量与 Goodput 外，还要报告 TTFT、TPOT 或 ITL、E2E / Queue Latency、Throughput、Preemption、KV Usage、Error、Worker Health 与 Cost；Runtime Metric 不能证明答案正确或符合 Policy。
主要特点
- 服务运行时而非模型 — 执行受支持制品，但不提供应用真值、授权或产品策略
- 分页 KV Cache 管理 — 按 Block 分配序列状态，减少碎片并支持特定共享方式
- 连续调度 — 动态调度变化中的请求集合，而不是等待固定 Batch 全部完成
- 版本化能力矩阵 — 模型、量化、Kernel、硬件、Parser、API 与并行支持随 Release 变化
- 多种执行路径 — 离线推理、在线服务、分布式执行和专用模型任务具有不同契约
- 可观测但不负责完整运营 — 暴露 Engine Metric，SLO、安全、扩缩容、事故响应与回滚仍由系统负责
常见用途
- 在应用自有认证与 Policy 边界后服务固定的开放权重模型
- 代表性基准证明调度与分页 KV Cache 对批量或在线推理有价值的场景
- 在同一版本化负载上比较 Quantization、Parallelism、Prefix Cache 或 Speculative Decoding
- 暴露经过测试的 Completion、Chat、Embedding、Score、Rerank、Transcription 等受支持 Endpoint
- 完成拓扑、通信、恢复与安全测试后跨可信 Accelerator 或 Node 扩展模型
- 收集 Queue、Prefill、Decode、Latency、Token、Cache 与 Preemption 信号进行容量管理
示例
Loading code...常见问题
vLLM 是语言模型吗？
不是。vLLM 是推理与服务引擎。模型、Tokenizer、Template、Adapter、Quantization、Parser 与 Policy 需要单独选择，它们共同决定行为和质量。
vLLM 一定能提高吞吐或降低延迟吗？
不一定。分页 Cache 与连续调度针对显存浪费和整体服务效率，但结果取决于模型、制品、硬件、输入输出分布、到达负载、并发、启用功能和 SLO。应在精确部署上比较通过质量门禁的 Goodput 与尾延迟。
vLLM Server 与 OpenAI API 完全兼容吗？
不存在通用等价保证。vLLM 会记录受支持 Endpoint、扩展字段、Template、Parser 与限制。必须针对固定版本测试 Parameter、Streaming、Cancellation、Error、Usage、Structured Output、Tool Call 与模型行为。
--api-key 能让 vLLM 部署达到生产安全要求吗？
不能。当前官方指南说明 API Key 不覆盖全部 Endpoint，而且分布式通信默认不安全。仍需隔离网络、防火墙、Reverse Proxy 或 Gateway、TLS、Endpoint Allowlist、Authorization、请求限制、制品控制、监控与补丁管理。
团队应该怎样评测 vLLM？
固定 Engine、Model Artifact、Tokenizer、Template、Quantization、Hardware、Topology 与 Flag，重放代表性的 Arrival Rate、Burstiness、输入输出长度、Concurrency 与功能组合。报告任务质量、Goodput、TTFT、TPOT 或 ITL、E2E 与 Queue Latency、Throughput、Error、Preemption、Cache Usage 与 Cost。