30秒快速回答: 递归自我改进(Recursive Self-Improvement,RSI)指 AI Agent 把任务中积累的经验,转化为对自身运行结构的持久修改——改提示词、改记忆、改技能库、改执行框架(Harness)——从而在模型权重完全不变的情况下,下一次任务做得比这一次更好。关键词是递归:保留下来经验不只改进任务执行,还要能参与下一轮”怎么改自己”的判断。
核心价值一句话: 你的 Agent 今天犯的错,明天还会犯——除非你把”失败轨迹”变成”结构修改”。RSI 就是把这件事工程化的那套方法论。
一、先分清:RSI 改的不是模型,是 Agent
很多人把 RSI 和持续学习、微调混为一谈。三者的区别一句话就能说清:
| 能力 | 改什么 | 典型手段 | 门槛 | 副作用 |
|---|---|---|---|---|
| 微调 / 持续学习 | 模型权重 | LoRA、增量训练、回放 | 高(数据+算力+评测) | 灾难性遗忘 |
| 单轮自我纠错(Reflexion) | 当前这次任务的上下文 | 失败后写反思、重试 | 低 | 任务结束即消失 |
| 递归自我改进(RSI) | Agent 的持久结构 | Prompt / Memory / Skill / Harness 修改 | 中 | 需要验证与回滚机制 |
关键差别在持久性和递归性:Reflexion 只是”这次想明白了”,RSI 是”以后都别再犯”。而它不需要 GPU——改动发生在文件、规则和流程里,不在参数里。
2026 年 11 月,中科院自动化所、美团联合山东大学、人大、上交等多家单位发布的综述《When, Where, and How Experience Becomes Structure》,第一次把这条分散的路线系统化了:经验可以沉淀成四种结构,且每种结构都能被后续反馈继续修改。
二、四条进化主线:经验能往哪里落
| 结构 | 存的是什么 | 一个真实例子 | 修改触发条件 |
|---|---|---|---|
| Prompt 进化 | 指令与约束 | “调 API 前先查版本号” | 反复出现同一类误解 |
| Memory 进化 | 事实、偏好、时效标记 | 用户新地址覆盖旧地址 | 信息过期或互相矛盾 |
| Skill 进化 | 可复用操作流程 | “发版流程 v3:多一步灰度” | 流程缺步骤或环境变了 |
| Harness 进化 | 运行规则、工具接口、完成检查 | “测试不通过不许报告完成” | 执行机制允许跳过检查 |
最值得关注的是最后一条。前面三条都在改”Agent 知道什么”,只有 Harness 在改”Agent 被允许怎么干”。综述里有个非常直观的例子:如果 Agent 习惯改完代码就跳过测试,正确的修法不是再写一句”请务必跑测试”的提示词,而是在运行框架里加一道硬检查:
# harness/checks.yaml —— 从"请求"升级为"约束"
on_task_complete:
require:
- name: tests_pass
command: "pytest -q"
on_fail: "把测试输出作为反馈喂回模型,最多重试 3 次"
- name: diff_reviewed
command: "git diff --stat"
condition: "changed_files > 0"
rollback_if:
- regression_suite_failed
这条规则的威力在于:它不依赖模型的自觉。提示词是请求,Harness 是约束。
同理,Anthropic 在 2026 年 11 月公开警示过 RSI 的风险面——当 Agent 被允许持续修改自己的运行规则时,”谁批准这条修改”就成了核心安全问题。所以 Harness 进化必须配一道人工闸门,而不是全自动。
三、七步生命周期:一段报错怎样变成永久能力
RSI 最容易失败的地方不在”想不出改法”,而在”改了不知道有没有用”。综述给出的七步闭环,本质是一套带验证的软件发布流程:
| 步骤 | 做什么 | 常见错误 |
|---|---|---|
| ① Collect 收集 | 存任务、工具调用、报错、结果 | 只存结果不存轨迹 |
| ② Evaluate 评估 | 判定是否达成目标 | 用模型自评且无外部信号 |
| ③ Diagnose 诊断 | 定位是哪个组件的问题 | 一律归因于”提示词没写好” |
| ④ Abstract 提炼 | 从个例提炼可复用规则 | 把偶发问题写成铁律 |
| ⑤ Update 更新 | 落到候选 Prompt/Memory/Skill/Harness | 直接改线上,无候选态 |
| ⑥ Verify 验证 | 用回归集验证修好且没弄坏别的 | 只测新问题,不测旧能力 |
| ⑦ Consolidate 整合 | 记录适用范围与版本,决定保留或回滚 | 改了不留痕,无法追溯 |
其中 ② 和 ⑥ 是全流程的分水岭:Evaluate 判断”发生了什么”,Verify 判断”改动是否有效”。跳过 Verify,你就在做没有测试的持续部署。
一个最小可用的更新闭环长这样:
import json, subprocess, uuid
def propose_and_verify(failure_trace, candidate_patch, regression_cmds):
"""candidate_patch: {"target": "skill|prompt|memory|harness", "diff": "..."}"""
pid = uuid.uuid4().hex[:8]
snapshot = backup_state() # ⑦ 可回滚的前提
apply_patch(candidate_patch) # ⑤ 落到候选态
# ⑥ Verify A:目标问题是否修好
if not run_case(failure_trace["case_id"]).ok:
restore(snapshot); return {"patch": pid, "result": "rejected_target_fail"}
# ⑥ Verify B:旧能力是否被弄坏
regressions = [c for c in regression_cmds if not shell_ok(c)]
if regressions:
restore(snapshot)
return {"patch": pid, "result": "rejected_regression", "failed": regressions}
# ⑦ 整合:记录适用范围,供下一轮改进时检索
log_experience({
"patch": pid, "target": candidate_patch["target"],
"fixes": failure_trace["error_type"],
"scope": failure_trace.get("scope", "unknown"),
"verified_at": now(),
})
return {"patch": pid, "result": "accepted"}
注意最后的 log_experience——这就是”递归”二字的落点。下一次遇到新失败时,改进器先去检索历史上同类问题的有效改法,把”修改经验”本身当作可复用资产。没有这一步,你只有自我改进,没有递归自我改进。
四、三个问题:改不改、改哪里、怎么改
落地时最容易滥改,综述给的三个提问可以直接做成准入卡点:
When——什么时候该改? 触发条件是任务失败、工具接口变更、用户纠正、新信息到来。但”值得改”是另一回事:偶发失败先留在记忆里观察,重复出现两次以上再升级为结构修改。判据很简单——同类失败的出现频率。
Where——该改哪个组件? 同一次失败可能来自四种原因:指令没说清(Prompt)、信息过期(Memory)、步骤缺失(Skill)、机制允许跳过检查(Harness)。诊断口诀是:问”如果换个人来做,会不会也错?” 会错则缺步骤,不会错则缺信息或约束。
How——怎么保证改动是改进而不是破坏? 四道闸门:适用范围要写清、回归集必须跑、改动要有版本号、保留一键回滚。
def diagnose(failure):
if failure["type"] == "outdated_fact": return "memory"
if failure["type"] == "missing_step": return "skill"
if failure["type"] == "skipped_check": return "harness"
if failure["type"] == "misunderstood_intent": return "prompt"
return "observe_more" # 证据不足就不改
另外一个 2026 年的实证进展值得提:Princeton 与 Meta 的《Evolving Reasoning with Agents》(arXiv 2611.03618)把”推理策略”本身做成了可演化、可复用的代码蓝图库——检索蓝图、写候选、真实样本上测、按结果修订、成果入库。30 个基准中 24 个超过最强基线,推理成本还低 39%,且策略能零搜索迁移到未见任务和别的模型上。这说明“不自我改进的那一半”正在被自动化。
五、5 个落地必踩的坑
- 只改 Prompt,不改机制:提示词能提升概率,改不了”允许跳过”这件事。该上 Harness 检查时别只加一句话。
- 没有回归集就开自动改进:这是把线上当成训练场。先攒 30–50 条历史任务当回归基线。
- 把偶发问题写成铁律:一次失败就改规则,三个月后你的技能库里全是互相冲突的特例。
- 改进不留版本:没有版本号和回滚点,出了问题无法判断是哪次”自我进化”造成的。
- 让 Agent 自己批准自己的修改:安全边界必须由人守。高风险改动(权限、支付、删除类)一律人工确认。
总结
- RSI 的本体不是训练,而是把经验翻译成结构:Prompt、Memory、Skill、Harness 四条主线。
- 提示词是请求,Harness 是约束——能用运行规则解决的,不要用语气解决。
- 七步生命周期里,Evaluate 与 Verify 是命门,跳过验证的自我改进等于无测试的持续部署。
- 递归的落点是”修改经验本身可复用”:下一轮改进能检索到上一轮的有效改法。
- 安全底线:高风险改动人工批准,一切改动可回滚、可审计。
延伸阅读建议:本博客《什么是 Agent 反思(Reflexion)?》《什么是 Agent 记忆修订(Memory Revision)?》《什么是 Agent Skills?》《什么是 DeepSeek Harness(DSH)?》《什么是持续学习(Continual Learning)?》——先看 Reflexion 理解”单轮自我纠错”的边界,再看记忆修订与 Agent Skills 掌握两类可被 RSI 修改的结构,最后对照持续学习理解”改结构”与”改权重”的根本差别。