什么是 状态空间模型？
状态空间模型（State Space Model，SSM）用隐状态表示动态系统或序列；每一步根据前一状态和当前输入更新状态，再把状态映射为输出。在神经序列模型中，这类递推可以提供线性序列处理，并在自回归解码时保留固定形状的历史状态。
快速了解
| 规范文档 | 官方规范 |
|---|
工作原理
经典连续时间状态空间模型使用状态方程 dh(t)/dt = A h(t) + B x(t) 和输出方程 y(t) = C h(t) + D x(t)。序列模型会把连续动力学离散化为 h_t = A_bar h_(t-1) + B_bar x_t 一类递推。离散化规则和参数化方式会影响稳定性、表达能力与数值行为。 结构化 SSM 约束状态转移矩阵，使递推能够高效表示为卷积、扫描或结构化矩阵运算。Mamba 等选择性 SSM 让部分动力学随输入变化，从而动态调整信息保留、写入和读取。固定形状递推状态不代表整个模型使用常数内存，也不保证精确回忆；权重、批量、层数、状态宽度、激活、工作区和内核仍会影响资源与质量。
主要特点
- 用逐步更新的隐状态表示序列历史
- 通过离散化规则或直接离散参数化处理采样序列
- 可同时支持完整序列并行算法与逐 Token 递推执行
- 结构化变体约束动力学，以高效使用卷积、扫描或矩阵算法
- 选择性变体让状态更新或读取随当前输入变化
- 固定形状历史状态以压缩递推记忆替代显式随机访问
常见用途
- 语言、音频、视觉、基因组和时间序列神经模型
- 要求历史状态有界的流式推理
- 根据观测估计潜在动力学的控制与信号处理系统
- 把状态空间层与注意力组合的混合神经架构
- 比较质量、状态跟踪、检索、延迟和内存的长序列实验
示例
Loading code...常见问题
机器学习中的状态空间模型是什么？
状态空间模型用隐状态表示此前的序列信息。每一步根据前一状态和当前输入更新状态，再读取输出。神经 SSM 会学习这些动力学，并可用结构化算法实现并行训练或递推推理。
状态空间模型与 RNN 有什么区别？
两者都可以使用递推状态，但现代结构化 SSM 会推导或参数化动力学，使其还能使用高效卷积、扫描或结构化矩阵算法。RNN 是广义神经架构家族；SSM 强调具有状态转移、输入和读取结构的动力学表达。
状态空间模型与注意力有什么区别？
SSM 随 Token 到达更新压缩后的隐状态；注意力在允许访问的 Token 表示之间计算内容相关交互。部分结构化 SSM 具有与结构化掩码注意力相关的矩阵表示，但这不意味着任意 SSM 都等价于标准 Softmax Attention。
状态空间模型使用常数内存吗？
递推解码时保留的历史状态可以具有与生成长度无关的固定形状，但总内存并非常数，仍取决于模型权重、层数、批量、状态宽度、精度、激活、工作区和具体实现。
什么是选择性状态空间模型？
选择性 SSM 让部分动力学依赖当前输入。Mamba 使用输入相关参数控制每个位置的信息写入、保留与读取，在保持递推和线性序列计算路径的同时增加内容相关行为。