复旦等提出 ReTerm：让 Code Agent 从自身失败中学习恢复

代码写错了、命令报错了、环境配坏了，Code Agent 接下来会做什么？ 在复杂终端任务中，一次错误往往会引出一串无效操作：重复安装已经装好的依赖，沿着错误假设继续修改代码，直到耗尽预算、任务失败。这些失败，能不能反过来成为 Agent 自我改进的训练材料？ 来自复旦大学、香港中文大学 MMLab 和上海交通大学的研究者提出 ReTerm，让终端智能体尝试恢复自己造成的失败，再从恢复结果中学习，探索一条由自身错误驱动的递归自我改进（Recursive Self-Improvement，RSI）路径。 这项工作的关键，是把「自己遇到问题、自己尝试恢复、根据成败更新参数」接入同一个训练闭环。模型变了，它产生的失败也会变化，新的失败又继续成为下一轮学习的起点。 论文链接：https://arxiv.org/abs/2610.18484 代码、模型与数据：https://github.com/twothsnd/ReTerm Hugging Face Paper：https://huggingface.co/papers/2610.18484 为什么会做任务的 Agent 仍然容易卡在错误里 终端环境中的纠错，比修改一道推理题的答案更复杂。错误操作可能已经改动文件、安装依赖或启动进程；后续动作面对的，是一个被前面操作改变过的环境。要继续完成任务，Agent 必须理解已经发生了什么，并判断究竟哪里出了问题。 论文中的 PyStan 案例很直观：软件包明明已经安装，执行 import pystan 却仍然报错。标准 GRPO 训练的模型反复尝试导入、卸载和重装，始终没有跳出错误方向。ReTerm-GRPO 训练的模型则检查安装路径，发现实际模块位于 stan 目录，进而使用 import stan 找到恢复方向。 如何让这种恢复行为更稳定地出现？只从干净环境学习成功轨迹，很难充分覆盖真实失败后的复杂状态；人工注入的错误，也未必符合模型实际会犯的错。ReTerm 把训练起点放在了 Agent 自己执行任务后留下的失败现场。 ReTerm-10K 先让模型学会接手失败现场 团队构建了 ReTerm-10K，为模型提供恢复示范：先收集基础模型自己做失败的任务，再请更强的教师模型接手，示范如何检查问题、修复错误并完成任务。 经过成功验证和质量筛选，团队得到约一万条恢复轨迹，用于支持冷启动训练。模型先从示范中学会恢复，再在在线强化学习中探索如何解决自己新遇到的问题。 ReTerm-GRPO 让自己的失败 进入下一轮训练 ReTerm-GRPO 的思路很直接：让 Agent 自己尝试修复自己的错误，再根据修复结果学习。 Agent 执行任务失败后，系统保留当时的环境和操作记录，从同一个失败现场出发，让它独立尝试多种恢复办法。哪些尝试最终完成了任务，就由任务验证器来判断。 这些恢复尝试的成败会转化为强化学习信号，更新模型参数，让 Agent 学会更有效地诊断问题、修复错误。 自我改进就发生在这个循环中：模型不断遇到自己的问题，自主尝试恢复，再从结果中学习。随着能力变化，新产生的失败继续进入训练，推动恢复能力与任务求解能力一起提升。 9B 模型在三个主要评测上同步提升 在覆盖终端操作与软件工程的三个主要评测中，ReTerm-9B 相比基础模型均取得超过 13 个百分点的提升： Terminal-Bench 2.0：20.2% → 34.8%，提升 14.6 个百分点。 SWE-bench Verified：45.2% → 58.4%，提升 13.2 个百分点。 OpenThoughts-TBLite：44.2% → 60.6%，提升 16.4 个百分点。 9B 模型也能展现出较强的任务求解能力。 在三个主要评测中，ReTerm-9B 均取得明显提升，在同规模模型中表现出较强竞争力，并在部分评测上取得优于更大参数规模模型的结果。这说明，从自身失败中学习恢复，是提升终端智能体能力的一条有效路径。 其中，ReTerm 与 Qwen3.5-9B 使用相同运行框架和评测配置，能直接观察恢复训练带来的增益；其他模型的数据来自各自论文或官方发布，运行配置可能不同。 换一套运行框架 换一类任务仍然有效 换一套运行框架，提升依然存在。在相同的 Terminal-Bench 2.0 任务上，ReTerm 在三套不同运行框架下均优于基础模型，保留了 6.7–12.4 个百分点的增益，说明收益能够迁移到不同的交互设置。 恢复训练的收益还延伸到了数学推理和表格操作。 AIME 2025 的 Pass@1 从 73.3% 提升至 93.3%，SpreadsheetBench Verified 从 37.8% 提升至 48.8%；AIME 2024 和 Aider Polyglot

来源只提供摘要，完整内容请打开原文。