30 秒快速回答
SSR(Selection-based Structured Reasoning,选择式结构化推理)是苹果(Apple)与卡内基梅隆大学(CMU)提出的一种 AI Agent 推理加速技术,核心思路是:与其让模型逐 token 生成一大段自由形式的推理(free-form thinking),不如让它从一组预定义的推理选项中”做选择题”。论文发表于 arXiv:2610.01892(2026-10-16),在 7 个多模态搜索 benchmark 上,SSR 把每轮推理延迟降低超过 90%,同时保持与 free-form thinking 相当的任务成功率。核心价值一句话:把推理从”写作文”变成”做选择题”,让端侧小模型又快又稳地驱动搜索 Agent。
推理开销藏在哪:ReAct 循环的中间环节
主流搜索 Agent 遵循 ReAct 范式,其循环可以拆成三步:
| 步骤 | 内容 | 开销特征 |
|---|---|---|
| 观察(Observation) | 读取搜索结果、图片、页面等环境反馈 | 取决于检索本身 |
| 推理(Reasoning) | 分析观察、评估证据、决定下一步动作 | 主要开销来源 |
| 动作(Action) | 执行搜索、翻页、点击、作答 | 固定成本 |
问题就出在第二步:模型每执行一个动作前,都要先生成一段自由形式推理。ReAct 最初的设计初衷是让模型”先想清楚再动手”,但在实际运行中,这段逐 token 生成的 thinking 既占了大量生成时间,又不一定对最终决策有用。
痛点:端侧小模型的”废话文学”
研究团队在大量搜索轨迹中发现一个反直觉现象:尽管每道题的实体、查询和观察结果千差万别,但决定下一步动作的高层推理逻辑却是反复出现的——比如”当前信息不足,需要继续搜索”、”这个来源权威性存疑,应该换一个”、”已经拿到足够证据,可以作答”。这类判断本质上就那几十种,模型却每次都从头开始”写小作文”。
对云端大模型来说,多写几段推理可能无伤大雅;但对 2B/4B 这类端侧小模型,问题就放大了:它们有时生成很长的推理内容,但对生成下一步动作和最终决策帮助有限,白白消耗算力与延迟——这就是典型的”废话文学”。
SSR 的思路:把推理空间离散化
SSR 重新设计了推理环节。它的核心洞察是:推理不必逐 token 生成,可以结构化、离散化——模型从一组预定义的推理选项中选出最合适的一个,就像做选择题而不是写作文。
free-form thinking 与 SSR 的对比:
| 维度 | Free-form Thinking(ReAct) | SSR(选择式结构化推理) |
|---|---|---|
| 推理形式 | 逐 token 生成自由文本 | 从预定义选项中选一个 |
| 推理空间 | 连续、无边界 | 结构化、离散化 |
| 生成开销 | 高(长度不可控) | 低(只需输出选项编号/标签) |
| 推理质量 | 依赖模型”即兴发挥” | 稳定复用高频推理逻辑 |
| 端侧适配 | 长推理拖慢响应 | 适合 2B/4B 小模型 |
推理选项示例(示意):
1. SEARCH_MORE:当前信息不足,继续搜索
2. REFINE_QUERY:查询太宽泛,换个更精确的关键词
3. EVALUATE_SOURCE:当前来源权威性存疑,换来源验证
4. ENOUGH_EVIDENCE:证据已足够,直接作答
模型在每一轮循环中只需判断”该选哪个选项”,而不是组织一整段推理文本。
SSR 怎么落地:”做选择题”的步骤
SSR 的推理流程可以概括为:
- 定义推理选项集合:从训练轨迹中挖掘高频出现的高层推理逻辑,整理成一份有限的选项表(如上文的 4 类,实际可按任务扩展)。
- 输入改造:将观察结果与候选推理选项一起提供给模型(或让模型在内部推理阶段做选择)。
- 选择即推理:模型输出对应的选项(而非自由文本),动作生成器据此执行下一步动作。
- 多轮循环:重复”观察 → 选择 → 动作”,直到选项触发”ENOUGH_EVIDENCE”进入最终作答。
伪代码示意:
def ssr_search_agent(query):
options = [SEARCH_MORE, REFINE_QUERY, EVALUATE_SOURCE, ENOUGH_EVIDENCE]
while True:
obs = observe(query) # 观察
choice = model.select_option(obs, options) # 做选择题
if choice == ENOUGH_EVIDENCE:
return answer(obs) # 作答
query = execute_action(choice, query) # 动作
由于每一步不再生成冗长文本,模型每轮只需输出一个选项标签,推理阶段的生成量被大幅压缩——这正是”每轮推理延迟降低超 90%”的直接来源。
效果与适用场景
在 7 个多模态搜索 benchmark 上,SSR 每轮推理延迟降低超过 90%,同时保持与 free-form thinking 相当的任务成功率——也就是说,省掉的推理开销没有以牺牲任务质量为代价。
适用场景:
- 端侧 / 移动端搜索 Agent:2B、4B 等小模型算力有限,SSR 的延迟收益最明显;
- 高并发搜索服务:推理延迟直接决定吞吐与成本;
- 对推理过程可解释性有要求的场景:离散选项天然可记录、可审计。
不适合:需要模型解决全新、未见过的复杂推理问题时,固定选项表可能不够用,仍需要自由形式推理兜底。
总结
SSR 的核心贡献是把 Agent 推理从”开放写作”变成”结构化选择”:通过预定义推理选项,把反复出现的高层推理逻辑固化下来,让模型跳过冗长的 free-form thinking。它在端侧小模型上的延迟收益尤其显著,也为 Agent 推理效率优化提供了一个新方向。
延伸阅读:
- AI Agent 怎么用?智能体工作原理与搭建指南:理解 Agent 循环的基础概念;
- 什么是推理模型?o1/R1 慢思考原理全解析:对比”慢思考”与”做选择题”两种推理风格;
- 什么是推测解码?大模型推理加速 2-3 倍的核心技术:另一种从生成端提速的路线。