30 秒快速回答

SSR(Selection-based Structured Reasoning,选择式结构化推理)是苹果(Apple)与卡内基梅隆大学(CMU)提出的一种 AI Agent 推理加速技术,核心思路是:与其让模型逐 token 生成一大段自由形式的推理(free-form thinking),不如让它从一组预定义的推理选项中”做选择题”。论文发表于 arXiv:2610.01892(2026-10-16),在 7 个多模态搜索 benchmark 上,SSR 把每轮推理延迟降低超过 90%,同时保持与 free-form thinking 相当的任务成功率。核心价值一句话:把推理从”写作文”变成”做选择题”,让端侧小模型又快又稳地驱动搜索 Agent。

推理开销藏在哪:ReAct 循环的中间环节

主流搜索 Agent 遵循 ReAct 范式,其循环可以拆成三步:

步骤 内容 开销特征
观察(Observation) 读取搜索结果、图片、页面等环境反馈 取决于检索本身
推理(Reasoning) 分析观察、评估证据、决定下一步动作 主要开销来源
动作(Action) 执行搜索、翻页、点击、作答 固定成本

问题就出在第二步:模型每执行一个动作前,都要先生成一段自由形式推理。ReAct 最初的设计初衷是让模型”先想清楚再动手”,但在实际运行中,这段逐 token 生成的 thinking 既占了大量生成时间,又不一定对最终决策有用。

痛点:端侧小模型的”废话文学”

研究团队在大量搜索轨迹中发现一个反直觉现象:尽管每道题的实体、查询和观察结果千差万别,但决定下一步动作的高层推理逻辑却是反复出现的——比如”当前信息不足,需要继续搜索”、”这个来源权威性存疑,应该换一个”、”已经拿到足够证据,可以作答”。这类判断本质上就那几十种,模型却每次都从头开始”写小作文”。

对云端大模型来说,多写几段推理可能无伤大雅;但对 2B/4B 这类端侧小模型,问题就放大了:它们有时生成很长的推理内容,但对生成下一步动作和最终决策帮助有限,白白消耗算力与延迟——这就是典型的”废话文学”。

SSR 的思路:把推理空间离散化

SSR 重新设计了推理环节。它的核心洞察是:推理不必逐 token 生成,可以结构化、离散化——模型从一组预定义的推理选项中选出最合适的一个,就像做选择题而不是写作文。

free-form thinking 与 SSR 的对比:

维度 Free-form Thinking(ReAct) SSR(选择式结构化推理)
推理形式 逐 token 生成自由文本 从预定义选项中选一个
推理空间 连续、无边界 结构化、离散化
生成开销 高(长度不可控) 低(只需输出选项编号/标签)
推理质量 依赖模型”即兴发挥” 稳定复用高频推理逻辑
端侧适配 长推理拖慢响应 适合 2B/4B 小模型

推理选项示例(示意):

1. SEARCH_MORE:当前信息不足,继续搜索
2. REFINE_QUERY:查询太宽泛,换个更精确的关键词
3. EVALUATE_SOURCE:当前来源权威性存疑,换来源验证
4. ENOUGH_EVIDENCE:证据已足够,直接作答

模型在每一轮循环中只需判断”该选哪个选项”,而不是组织一整段推理文本。

SSR 怎么落地:”做选择题”的步骤

SSR 的推理流程可以概括为:

  1. 定义推理选项集合:从训练轨迹中挖掘高频出现的高层推理逻辑,整理成一份有限的选项表(如上文的 4 类,实际可按任务扩展)。
  2. 输入改造:将观察结果与候选推理选项一起提供给模型(或让模型在内部推理阶段做选择)。
  3. 选择即推理:模型输出对应的选项(而非自由文本),动作生成器据此执行下一步动作。
  4. 多轮循环:重复”观察 → 选择 → 动作”,直到选项触发”ENOUGH_EVIDENCE”进入最终作答。

伪代码示意:

def ssr_search_agent(query):
    options = [SEARCH_MORE, REFINE_QUERY, EVALUATE_SOURCE, ENOUGH_EVIDENCE]
    while True:
        obs = observe(query)                    # 观察
        choice = model.select_option(obs, options)  # 做选择题
        if choice == ENOUGH_EVIDENCE:
            return answer(obs)                  # 作答
        query = execute_action(choice, query)   # 动作

由于每一步不再生成冗长文本,模型每轮只需输出一个选项标签,推理阶段的生成量被大幅压缩——这正是”每轮推理延迟降低超 90%”的直接来源。

效果与适用场景

在 7 个多模态搜索 benchmark 上,SSR 每轮推理延迟降低超过 90%,同时保持与 free-form thinking 相当的任务成功率——也就是说,省掉的推理开销没有以牺牲任务质量为代价。

适用场景:

  • 端侧 / 移动端搜索 Agent:2B、4B 等小模型算力有限,SSR 的延迟收益最明显;
  • 高并发搜索服务:推理延迟直接决定吞吐与成本;
  • 对推理过程可解释性有要求的场景:离散选项天然可记录、可审计。

不适合:需要模型解决全新、未见过的复杂推理问题时,固定选项表可能不够用,仍需要自由形式推理兜底。

总结

SSR 的核心贡献是把 Agent 推理从”开放写作”变成”结构化选择”:通过预定义推理选项,把反复出现的高层推理逻辑固化下来,让模型跳过冗长的 free-form thinking。它在端侧小模型上的延迟收益尤其显著,也为 Agent 推理效率优化提供了一个新方向。

延伸阅读: