什么是 AI 加速器？
AI 加速器是为机器学习训练或推理负载提供高效执行能力的专用硬件及其配套软件栈，相比只使用通用处理器，它通常会针对矩阵、张量或数据搬运进行优化。
快速了解
| 规范文档 | 官方规范 |
|---|
工作原理
AI 加速器可以是 GPU、TPU、自研 ASIC、推理专用处理器、晶圆级系统或端侧 NPU。在生产环境中，有意义的边界包含加速器、内存层级、互联、Host、编译器、Runtime、Kernel、服务调度器和可观测性。架构规格只能帮助发现潜在瓶颈，不能直接证明业务性能。选型需要固定模型与流量契约，执行兼容性资格审查和质量门禁，并测量请求级延迟、已验收输出 Goodput、明确边界的能耗、完整 TCO 与迁移证据。不存在适合全部负载的统一赢家，因为模型规模、数值格式、序列长度、并发、算子组合、拓扑和软件 Revision 都会改变硬件适配结果。
主要特点
- 把专用矩阵或张量执行单元与编译器、Runtime 和 Kernel 栈组合为完整系统
- 内存层级与互联拓扑可能主导端到端性能
- 可能用通用可编程性和可移植性换取特定负载效率
- 必须按完整系统评测，不能只看单芯片峰值算力
- 需要分别提供兼容性、质量、延迟、可靠性与成本证据
- 模型、精度、流量或软件变化都可能改变相对性能
常见用途
- 在单节点或多加速器节点上训练与微调神经网络
- 在 TTFT 与 Token 间延迟目标下服务自回归语言模型
- 规模化执行视觉、语音、推荐和 Embedding 负载
- 在端侧运行注重隐私或低延迟的模型推理
- 用已验收 Goodput 与完整 TCO 比较通过资格审查的硬件平台
示例
Loading code...常见问题
AI 加速器和 GPU 是同一个概念吗？
不是。GPU 是 AI 加速器的一类，其他类型还包括 TPU、自研 ASIC、推理专用处理器、晶圆级系统和端侧 NPU。生产系统还包含编译器、Runtime、Kernel、内存、互联、Host 与服务软件。
哪些因素决定 AI 加速器是否适合某个负载？
关键因素包括模型与算子支持、数值格式、权重与 KV Cache 容量、内存带宽、拓扑、序列分布、并发、延迟目标、质量门禁、区域供给以及软件和运维栈成熟度。
为什么不同 AI 加速器基准会得出冲突结论？
基准可能使用不同模型、精度、Batch、序列长度、硬件数量、Runtime、质量目标和延迟约束；有些报告单芯片理论值，另一些测量整机。只有这些身份和边界一致时，结果才具有可比性。
比较 AI 加速器最重要的指标是什么？
不存在单个充分指标。应先执行兼容性与质量硬门禁，再报告延迟分位数、已验收输出 Goodput、错误、内存、可靠性、实测能耗、每个已验收单位的完整成本与迁移风险。
什么时候需要重新评估 AI 加速器选型？
模型、精度、上下文或 Feature 分布、并发、延迟目标、Runtime、Driver、供给、价格合同或产品验收策略发生实质变化时都应重评。版本化工作负载契约能指出必须重跑哪些资格门禁。