30秒快速回答
推理时计算扩展（Test-time Compute Scaling） 指的是在不改变模型参数的前提下，通过增加推理阶段的计算量来提升输出质量的技术。简单说：让模型在回答问题时”多想一会儿”——多推几步、多试几次、多验证几轮——答案就会更准、更可靠。
核心价值：同样的模型，用不同的推理策略，准确率可以提升 10%-40%。对于企业来说，这意味着不用重新训练模型，只靠优化推理流程就能获得显著效果提升。
1. 为什么需要推理时计算扩展？
传统大模型推理是”一次成文”——给定 prompt，模型从头到尾生成一遍，拿到什么就是什么。这种方式的问题在于：
- 浅层思考：模型没有机会回头检查、修正或从多个角度审视问题
- 算力浪费：无论简单问题还是复杂问题，消耗的计算量差不多
- 天花板明显：模型能力被参数量锁死，无法通过”多想想”来突破
2024 年 OpenAI o1 的发布改变了这一切。o1 不是更大的模型，而是同一架构加上了推理时的思考链——它会在内部生成大量中间推理步骤，用更多计算换更好的答案。这标志着 AI 行业从”训练时 scaling”转向”推理时 scaling”。
| 维度 | 训练时扩展（Train-time Scaling） | 推理时扩展（Test-time Scaling） |
|---|---|---|
| 核心思路 | 更大模型 + 更多数据 | 更多推理步骤 + 更多采样 |
| 成本归属 | 一次性训练成本 | 每次推理的持续性成本 |
| 效果来源 | 模型参数蕴含的知识 | 推理过程中的搜索和验证 |
| 典型代表 | GPT-4、Claude 3.5 等超大模型 | o1/o3 的 chain-of-thought |
| 灵活性 | 训练完即固定 | 可按问题难度动态调节 |
2. 四种核心策略
2.1 思维链（Chain-of-Thought）
最基础的推理时扩展策略。在 prompt 中加入”让我们一步一步思考”，引导模型生成中间推理步骤。
# 基础 prompt
prompt_basic = "1537 × 289 = ?"
# 思维链 prompt
prompt_cot = """1537 × 289 = ?
让我们一步一步计算：
1. 先分解数字
2. 逐步计算
3. 得出最终结果"""
# 在 GSM8K 数学推理基准上，CoT 将准确率从 18% 提升到 58%
2.2 自洽性投票（Self-Consistency）
让模型对同一个问题生成多条推理路径，取出现频率最高的答案。直觉上：如果模型用不同思路都能得到同一个答案，那这个答案大概率是对的。
import openai
def self_consistency(question, n_samples=5):
responses = []
for _ in range(n_samples):
response = openai.chat.completions.create(
model="gpt-4",
messages=[{"role": "user", "content": question}],
temperature=0.7 # 关键：非零温度产生多样性
)
responses.append(response.choices[0].message.content)
# 提取最终答案并投票
answers = [extract_answer(r) for r in responses]
return max(set(answers), key=answers.count)
# 在数学推理任务上，5次采样的自洽性可带来 +8~15% 的准确率提升
2.3 Best-of-N 采样（Rejection Sampling）
生成 N 个候选答案，用一个验证器（可以是同一模型或另一个专门模型）对每个候选打分，选出最好的那个。
def best_of_n(question, n=10, verifier_model="gpt-4"):
candidates = []
for _ in range(n):
response = generate(question, temperature=0.8)
candidates.append(response)
# 用验证器打分
scores = []
for candidate in candidates:
score_prompt = f"问题：{question}\n答案：{candidate}\n请从1-10打分，评估正确性和完整性："
score = float(generate(score_prompt, temperature=0))
scores.append(score)
best_idx = scores.index(max(scores))
return candidates[best_idx]
# Best-of-N 在代码生成和创意写作任务上效果尤为显著
2.4 动态算力分配（Adaptive Compute Allocation）
2026 年的前沿方向：根据问题难度动态决定投入多少推理算力。简单问题秒回，难题多花时间。
| 策略 | 适用场景 | 算力开销 | 准确率提升 |
|---|---|---|---|
| Chain-of-Thought | 数学推理、逻辑推断 | 2-5x tokens | +20~40% |
| Self-Consistency | 有唯一答案的推理任务 | 5-20x tokens | +8~15% |
| Best-of-N | 代码生成、创意写作 | 10-50x tokens | +10~25% |
| 动态分配 | 混合难度场景 | 1-30x tokens（自适应） | +15~30% |
3. 2026 年前沿：让 AI 自己学会”怎么想”
2026 年 5 月，一篇名为 AutoTTS 的论文引发了广泛关注。它的核心发现是：推理时策略不一定需要人类手工设计——可以让 AI 自己发现最优的推理策略。
传统的 test-time scaling 依赖工程师设计固定的推理模板（如”先分析再求解”、”列出已知条件”）。AutoTTS 的思路是创造一个”推理策略探索环境”，让 LLM Agent 在这个环境里尝试各种推理路径，自动发现哪些策略对哪些类型的问题最有效。
传统方式：人类设计策略 → 模型执行
AutoTTS： 模型探索策略空间 → 自动发现最优策略 → 执行
这一方向意味着未来推理引擎可能是自我进化的——用得越多，推理策略越聪明。
4. 实践建议：如何在自己的项目中使用
| 场景 | 推荐策略 | 理由 |
|---|---|---|
| 客服问答（简单 FAQ） | 直接用，不加扩展 | 延迟优先，准确率已够 |
| 数学题 / 逻辑题 | CoT + Self-Consistency（3次） | 准确率显著提升，延迟可接受 |
| 代码生成 | Best-of-N（5次）+ 测试用例验证 | 代码可自动验证，适合多采样 |
| 法律 / 医疗问答 | CoT + Best-of-N（10次）+ 人工审核 | 高准确性要求，值得投入算力 |
| 对话闲聊 | 不需要 | 流畅度比准确性重要 |
成本考量：每次 test-time scaling 都会成倍增加 token 消耗。以 GPT-4o 为例，5 次采样的自洽性策略会让单次查询成本变为原来的 5 倍。建议在关键任务上使用，并为不同任务设置不同的 max_compute_budget。
总结
推理时计算扩展正在重塑 AI 应用的性能天花板。核心要点：
- 不换模型，换策略——同样的模型，用对推理策略就能显著提升效果
- 四种策略，按需选用——CoT 打基础，Self-Consistency 提准确，Best-of-N 做筛选，动态分配降成本
- 未来是自适应推理——AI 自己学会”什么时候该多想、该怎么想”
延伸阅读：