30秒快速回答: 递归自我改进(Recursive Self-Improvement,RSI)指 AI Agent 把任务中积累的经验,转化为对自身运行结构的持久修改——改提示词、改记忆、改技能库、改执行框架(Harness)——从而在模型权重完全不变的情况下,下一次任务做得比这一次更好。关键词是递归:保留下来经验不只改进任务执行,还要能参与下一轮”怎么改自己”的判断。

核心价值一句话: 你的 Agent 今天犯的错,明天还会犯——除非你把”失败轨迹”变成”结构修改”。RSI 就是把这件事工程化的那套方法论。


一、先分清:RSI 改的不是模型,是 Agent

很多人把 RSI 和持续学习、微调混为一谈。三者的区别一句话就能说清:

能力 改什么 典型手段 门槛 副作用
微调 / 持续学习 模型权重 LoRA、增量训练、回放 高(数据+算力+评测) 灾难性遗忘
单轮自我纠错(Reflexion) 当前这次任务的上下文 失败后写反思、重试 低 任务结束即消失
递归自我改进(RSI) Agent 的持久结构 Prompt / Memory / Skill / Harness 修改 中 需要验证与回滚机制

关键差别在持久性和递归性:Reflexion 只是”这次想明白了”,RSI 是”以后都别再犯”。而它不需要 GPU——改动发生在文件、规则和流程里,不在参数里。

2026 年 11 月,中科院自动化所、美团联合山东大学、人大、上交等多家单位发布的综述《When, Where, and How Experience Becomes Structure》,第一次把这条分散的路线系统化了:经验可以沉淀成四种结构,且每种结构都能被后续反馈继续修改。


二、四条进化主线:经验能往哪里落

结构 存的是什么 一个真实例子 修改触发条件
Prompt 进化 指令与约束 “调 API 前先查版本号” 反复出现同一类误解
Memory 进化 事实、偏好、时效标记 用户新地址覆盖旧地址 信息过期或互相矛盾
Skill 进化 可复用操作流程 “发版流程 v3:多一步灰度” 流程缺步骤或环境变了
Harness 进化 运行规则、工具接口、完成检查 “测试不通过不许报告完成” 执行机制允许跳过检查

最值得关注的是最后一条。前面三条都在改”Agent 知道什么”,只有 Harness 在改”Agent 被允许怎么干”。综述里有个非常直观的例子:如果 Agent 习惯改完代码就跳过测试,正确的修法不是再写一句”请务必跑测试”的提示词,而是在运行框架里加一道硬检查:

# harness/checks.yaml —— 从"请求"升级为"约束"
on_task_complete:
  require:
    - name: tests_pass
      command: "pytest -q"
      on_fail: "把测试输出作为反馈喂回模型,最多重试 3 次"
    - name: diff_reviewed
      command: "git diff --stat"
      condition: "changed_files > 0"
rollback_if:
  - regression_suite_failed

这条规则的威力在于:它不依赖模型的自觉。提示词是请求,Harness 是约束。

同理,Anthropic 在 2026 年 11 月公开警示过 RSI 的风险面——当 Agent 被允许持续修改自己的运行规则时,”谁批准这条修改”就成了核心安全问题。所以 Harness 进化必须配一道人工闸门,而不是全自动。


三、七步生命周期:一段报错怎样变成永久能力

RSI 最容易失败的地方不在”想不出改法”,而在”改了不知道有没有用”。综述给出的七步闭环,本质是一套带验证的软件发布流程:

步骤 做什么 常见错误
① Collect 收集 存任务、工具调用、报错、结果 只存结果不存轨迹
② Evaluate 评估 判定是否达成目标 用模型自评且无外部信号
③ Diagnose 诊断 定位是哪个组件的问题 一律归因于”提示词没写好”
④ Abstract 提炼 从个例提炼可复用规则 把偶发问题写成铁律
⑤ Update 更新 落到候选 Prompt/Memory/Skill/Harness 直接改线上,无候选态
⑥ Verify 验证 用回归集验证修好且没弄坏别的 只测新问题,不测旧能力
⑦ Consolidate 整合 记录适用范围与版本,决定保留或回滚 改了不留痕,无法追溯

其中 ② 和 ⑥ 是全流程的分水岭:Evaluate 判断”发生了什么”,Verify 判断”改动是否有效”。跳过 Verify,你就在做没有测试的持续部署。

一个最小可用的更新闭环长这样:

import json, subprocess, uuid

def propose_and_verify(failure_trace, candidate_patch, regression_cmds):
    """candidate_patch: {"target": "skill|prompt|memory|harness", "diff": "..."}"""
    pid = uuid.uuid4().hex[:8]
    snapshot = backup_state()                 # ⑦ 可回滚的前提

    apply_patch(candidate_patch)              # ⑤ 落到候选态

    # ⑥ Verify A:目标问题是否修好
    if not run_case(failure_trace["case_id"]).ok:
        restore(snapshot); return {"patch": pid, "result": "rejected_target_fail"}

    # ⑥ Verify B:旧能力是否被弄坏
    regressions = [c for c in regression_cmds if not shell_ok(c)]
    if regressions:
        restore(snapshot)
        return {"patch": pid, "result": "rejected_regression", "failed": regressions}

    # ⑦ 整合:记录适用范围,供下一轮改进时检索
    log_experience({
        "patch": pid, "target": candidate_patch["target"],
        "fixes": failure_trace["error_type"],
        "scope": failure_trace.get("scope", "unknown"),
        "verified_at": now(),
    })
    return {"patch": pid, "result": "accepted"}

注意最后的 log_experience——这就是”递归”二字的落点。下一次遇到新失败时,改进器先去检索历史上同类问题的有效改法,把”修改经验”本身当作可复用资产。没有这一步,你只有自我改进,没有递归自我改进。


四、三个问题:改不改、改哪里、怎么改

落地时最容易滥改,综述给的三个提问可以直接做成准入卡点:

When——什么时候该改? 触发条件是任务失败、工具接口变更、用户纠正、新信息到来。但”值得改”是另一回事:偶发失败先留在记忆里观察,重复出现两次以上再升级为结构修改。判据很简单——同类失败的出现频率。

Where——该改哪个组件? 同一次失败可能来自四种原因:指令没说清(Prompt)、信息过期(Memory)、步骤缺失(Skill)、机制允许跳过检查(Harness)。诊断口诀是:问”如果换个人来做,会不会也错?” 会错则缺步骤,不会错则缺信息或约束。

How——怎么保证改动是改进而不是破坏? 四道闸门:适用范围要写清、回归集必须跑、改动要有版本号、保留一键回滚。

def diagnose(failure):
    if failure["type"] == "outdated_fact":      return "memory"
    if failure["type"] == "missing_step":       return "skill"
    if failure["type"] == "skipped_check":      return "harness"
    if failure["type"] == "misunderstood_intent": return "prompt"
    return "observe_more"                       # 证据不足就不改

另外一个 2026 年的实证进展值得提:Princeton 与 Meta 的《Evolving Reasoning with Agents》(arXiv 2611.03618)把”推理策略”本身做成了可演化、可复用的代码蓝图库——检索蓝图、写候选、真实样本上测、按结果修订、成果入库。30 个基准中 24 个超过最强基线,推理成本还低 39%,且策略能零搜索迁移到未见任务和别的模型上。这说明“不自我改进的那一半”正在被自动化。


五、5 个落地必踩的坑

  1. 只改 Prompt,不改机制:提示词能提升概率,改不了”允许跳过”这件事。该上 Harness 检查时别只加一句话。
  2. 没有回归集就开自动改进:这是把线上当成训练场。先攒 30–50 条历史任务当回归基线。
  3. 把偶发问题写成铁律:一次失败就改规则,三个月后你的技能库里全是互相冲突的特例。
  4. 改进不留版本:没有版本号和回滚点,出了问题无法判断是哪次”自我进化”造成的。
  5. 让 Agent 自己批准自己的修改:安全边界必须由人守。高风险改动(权限、支付、删除类)一律人工确认。

总结

  • RSI 的本体不是训练,而是把经验翻译成结构:Prompt、Memory、Skill、Harness 四条主线。
  • 提示词是请求,Harness 是约束——能用运行规则解决的,不要用语气解决。
  • 七步生命周期里,Evaluate 与 Verify 是命门,跳过验证的自我改进等于无测试的持续部署。
  • 递归的落点是”修改经验本身可复用”:下一轮改进能检索到上一轮的有效改法。
  • 安全底线:高风险改动人工批准,一切改动可回滚、可审计。

延伸阅读建议:本博客《什么是 Agent 反思(Reflexion)?》《什么是 Agent 记忆修订(Memory Revision)?》《什么是 Agent Skills?》《什么是 DeepSeek Harness(DSH)?》《什么是持续学习(Continual Learning)?》——先看 Reflexion 理解”单轮自我纠错”的边界,再看记忆修订与 Agent Skills 掌握两类可被 RSI 修改的结构,最后对照持续学习理解”改结构”与”改权重”的根本差别。