什么是 Mamba？SSM 状态空间模型如何突破 Transformer 的长文本瓶颈全解析

30 秒快速回答：Mamba 是一种基于状态空间模型（SSM）的新一代大模型架构，由卡内基梅隆大学等团队于 2023 年底提出、2024 年发布 Mamba-2 改进版。它用”固定大小的隐藏状态 + 线性扫描”替代了 Transformer 的注意力矩阵，把计算复杂度从 O(n²) 降到 O(n)，让模型能以近乎恒定的内存处理十万、百万级 token 的超长上下文，同时推理速度比同规模 Transformer 快 2-5 倍。

核心价值一句话：如果 Transformer 的”每个词都要回头看所有词”让你在长文档、整库代码、超长对话上又慢又贵，Mamba 提供了一条”边走边记”的线性路径——记忆不随长度膨胀，成本不随上下文爆炸。

一、为什么需要 Mamba？Transformer 的长文本之痛

Transformer 的自注意力机制虽然强大，但有一个硬伤：每个 token 都要与序列中所有其他 token 计算相关性。这意味着：

• 计算量随序列长度 n 呈 O(n²) 增长：处理 100 万 token 需要 10¹² 次注意力计算；
• KV Cache（键值缓存）随长度线性膨胀：长对话中显存被历史状态占满；
• 推理是”逐 token 生成”，每一步都要重访全部历史，流式场景延迟高。

业界为此做了很多修补：稀疏注意力、滑动窗口、KV Cache 压缩（如 MLA）、线性注意力等，但它们要么牺牲精度，要么引入额外复杂度。Mamba 的思路是彻底换一种状态机视角：不需要”回头看”，只需要把读过的内容”压缩”进一个固定大小的状态向量。

二、Mamba 的核心原理：选择性状态空间模型

传统 SSM（如 S4）把输入序列看作随时间变化的信号，用一个隐藏状态 h 持续”滚动”更新：

h_t = A * h_{t-1} + B * x_t      # 状态更新
y_t = C * h_t + D * x_t          # 输出

A/B/C/D 是共享参数矩阵，整个过程是线性递归，复杂度天然 O(n)。但早期 SSM 有个致命弱点：参数是输入无关的——无论看到什么内容都用同一套规则更新，导致它记不住”该记的信息”（比如对话里的名字、代码里的变量）。

Mamba 的关键创新是选择性机制（Selective Scan）：让 B、C 甚至 Δ（步长）都变成当前输入的函数，由模型自己决定”这个 token 的信息要不要写进状态、写多少”。用伪代码理解：

# 伪代码：Mamba 的选择性状态更新
for t in range(seq_len):
    B_t = W_B(x_t)   # 根据当前输入生成 B
    C_t = W_C(x_t)   # 根据当前输入生成 C
    delta_t = softplus(W_delta(x_t))   # 控制更新步长
    h = (1 - delta_t) * h + delta_t * (A * h + B_t * x_t)
    y_t = C_t * h

翻译成人话：模型学会了”选择性记忆”——关键信息写入状态长期保留，无关信息被门控衰减。这让 Mamba 在保持线性复杂度的同时，具备了 Transformer 式的”内容感知”能力。

三、Mamba vs Transformer：一张表看懂差异

需要强调：Mamba 不是要”取代”Transformer，而是互补。2026 年主流做法是混合架构——如 Jamba、Zamba 等模型在部分层用注意力、部分层用 SSM，兼顾长上下文与复杂推理。

四、实战：用 Hugging Face 加载 Mamba 模型

Mamba 已原生集成进 transformers，跑起来和普通模型一样简单：

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "state-spaces/mamba-130m"   # 或 mamba-2.8b 等更大版本
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

prompt = "请用三句话解释什么是状态空间模型："
inputs = tokenizer(prompt, return_tensors="pt")
out = model.generate(**inputs, max_new_tokens=100)
print(tokenizer.decode(out[0], skip_special_tokens=True))

关键差异在推理方式：Mamba 的 generate 内部采用”预填充 + 增量状态更新”模式，不需要维护不断增长的 KV Cache。在超长输入（如整本小说、整个代码仓库）场景，这种差异会直接反映为显存占用平稳、首 token 延迟更低。

小提示：本地部署 Mamba 时优先选用支持选择性扫描的推理后端（如 mamba-ssm 内核或专用 serving 框架），纯 PyTorch 朴素实现跑不出速度优势。

五、什么时候该选 Mamba？

适合选择 Mamba / SSM 的场景：

• 超长文档处理：合同审阅、论文综述、整库代码分析，输入动辄几十万 token；
• 流式/实时应用：语音助手、实时翻译、日志监控，需要低延迟逐 token 输出；
• 边缘与低资源部署：固定状态意味着更小的显存足迹，适合端侧小模型；
• 长时对话与记忆：希望”历史不占窗口”，用固定状态承载长期记忆。

暂时不需要的场景：

• 复杂数学推理、多步代码生成（注意力仍是强项）；
• 需要成熟生态（微调工具、量化方案、社区插件）的通用产品。

总结与延伸阅读

核心要点回顾：

1. Mamba 是状态空间模型（SSM）的代表架构，用”固定状态 + 线性扫描”把复杂度从 O(n²) 降到 O(n)；
2. 选择性机制让模型能”按内容决定记什么”，解决了早期 SSM 记忆能力弱的问题；
3. 与 Transformer 相比，Mamba 在长上下文、流式推理、资源占用上占优，复杂推理仍是注意力更强；
4. 2026 年主流趋势是混合架构（注意力 + SSM 分层融合），而非二选一。

延伸阅读建议：建议接着阅读本站的《什么是 KV Cache？大模型推理提速降本的核心技术》《什么是长上下文（Long Context）？》《什么是线性注意力？》三篇，可以拼出”长上下文架构演进”的完整拼图；想深入原理可读 Mamba 原始论文《Mamba: Linear-Time Sequence Modeling with Selective State Spaces》与 Mamba-2 论文《Transformers are SSMs》。