什么是 每秒 Token 数（Tokens per Second）？

每秒 Token 数（Tokens per Second）是一种吞吐指标，用于衡量 LLM 在解码阶段每秒生成多少输出 token。

工作原理

每秒 Token 数常简称 TPS，是响应开始流式输出后最直观的速度指标。它描述解码阶段的生成速度，但不应与首 Token 延迟或系统总吞吐量混淆。一个模型可能有很高的每秒 Token 数，但如果 TTFT 很高，用户体验仍然差；它也可能有很高聚合吞吐量，但每个单独流都显得很慢。准确报告时应说明 TPS 是按请求、按 GPU、按批次，还是按整个服务统计。

主要特点

  • 衡量解码阶段的输出生成速度
  • 可按请求、用户流、GPU 或整个服务报告
  • 受模型大小、硬件、量化、批处理和输出长度影响
  • 除非明确说明，通常不包含预填充或排队的完整成本
  • 应与 TTFT、延迟和吞吐量一起解读

常见用途

  1. 在相同负载下比较模型服务引擎
  2. 估算用户看到流式文本的速度
  3. 对比量化模型和全精度模型的基准
  4. 跟踪开启连续批处理后的解码性能
  5. 监控生产环境中的生成速度回退

示例

loading...
Loading code...

常见问题

每秒 Token 数越高一定越好吗？

不一定。用户还关心 TTFT、总延迟、答案质量，以及速度是按单请求还是按整体服务统计。

TPS 包含输入提示词处理吗？

通常不包含。TPS 往往只衡量解码速度，因此预填充和排队应单独报告。

为什么不同请求的 TPS 会变化？

它会随输出长度、活跃批大小、硬件负载、KV Cache 压力和采样设置变化。

应如何报告 TPS 基准？

应说明模型、硬件、批大小、输入长度、输出长度、精度、服务引擎，以及 TPS 是单流还是聚合值。

相关工具

JSON 格式化

免费在线JSON格式化(Format)与美化解析工具，一键快速格式化、语法校验和压缩任意复杂的JSON数据字符串。支持直观的代码语法高亮显示、可折叠的交互式树形视图(Tree View)、最近格式化历史记录保存和一键快速复制结果。广泛适用于前后端API接口调试、日志数据分析、以及各类系统配置文件编辑。无需注册登录，100%纯前端本地处理，绝不泄露您的数据隐私。

AI网站导航

权威、全面且持续更新的 AI 人工智能工具与生态资源导航目录。深度覆盖全球与国内顶尖的大语言模型提供商、开放生态与开源项目、前沿学术研究索引与评测排行榜、以及开发者必备的平台与工具目录等。为你提供快速发现、横向能力对比与高效技术选型的最佳入口。支持精准的关键词搜索与个人收藏分组功能，分类分区清晰易用，助你轻松掌握 AI 时代生产力。

文本分析器

免费在线全能文本分析与高级字数统计工具。提供极其详尽的字数、总字符数、句子数、段落数精确统计功能，全面支持多语言智能分词(包含中文字符与英文字词独立识别统计)。提供核心高频关键词提取分析、用户平均阅读时间预估和文本排版特征深度检测。专为职业作家、文案编辑、自媒体运营和学生群体设计的文本内容优化辅助神器，即开即用。

相关术语

解码阶段（Decode Phase）

解码阶段（Decode Phase）是 LLM 推理中使用预填充阶段创建的 KV Cache，逐个 token 生成输出的阶段。

首 Token 延迟（TTFT）

首 Token 延迟（TTFT）是从发送 LLM 请求到客户端收到第一个生成 token 之间的延迟。

吞吐量（Throughput）

吞吐量（Throughput）是服务系统在单位时间内完成的工作量，例如每秒请求数、每秒输出 token 数或每秒总 token 数。

延迟（Latency）

延迟（Latency）是 AI 系统中从请求到响应或某个里程碑之间经过的时间，例如第一个 token、最后一个 token 或工具结果完成。

相关文章

大语言模型 (LLM) 推理过程详解：从 Token、KV Cache 到文本生成【2026】

深度解析大语言模型 (LLM) 是如何生成文本的。本文详细讲解 LLM 推理全流程，涵盖分词、Prefill 与 Decode 阶段、KV Cache 优化原理，以及 TTFT 与 TPOT 等核心延迟指标。

2026-04-07