Dream-RSI：通过不断演化的世界实现递归自我改进

作者：Tong Zheng 等 17 人（论文 arXiv 2609.14858，v1 于 2026-09-14 提交）

递归自我改进（RSI）正在成为自主 AI agent 的核心能力：进步取决于能不能在复杂领域里持续发现高价值解法。驱动这件事的引擎是有效的探索——但**怎么管理和改进探索策略，是现在的瓶颈**。

现有系统面对一个两难：固定策略跟不上搜索空间的扩大；而在线策略优化又要在巨大的元搜索空间里做长时程 rollout，反馈既延迟又昂贵。

关键洞察：发现历史本身就是一台模拟器

论文的类比很朴素：一个 agent 在陌生环境里第一次导航，会走弯路、撞死路、 backtrack，最后逐渐画出一张地图。地图一旦被记录下来，这段经验就可以复用——新的策略不必再把每个地点都实地走一遍，它可以在地图上推理、绕开已知死路、重新考虑早先的决定、比较不同路线再行动。

这与 model-based 强化学习同构：Dreamer 系列的做法就是先从收集到的经验里学一个紧凑的动力学模型，再在模型里想象轨迹来改进策略。

长时程发现具有同样的结构：探索策略决定追哪个方向、精修哪个候选、并行探哪些分支、什么时候终止。在线执行这个策略，会产生一份结构化的发现历史——探过的分支、决策点、计算成本、真实结果。**这份历史就可以当成一台经验性的重放模拟器**（replay simulator）：一个关于「已经观察过的那部分发现空间」的、有事实依据的模型。

在重放模拟器里，不同的探索策略会在这棵已记录的发现树上走出不同轨迹。策略可以选不同的分支子集、在不同深度停下、重新分配预算——而所有这些都是即时反馈，不需要真的再跑一遍昂贵的在线评估。

方法：三阶段循环

Dream-RSI 是一个可扩展、可递归自我改进的探索框架。一个**轻量编排层**把探索显式化、可编程化，底下的 coding agent 一行不改。

三个核心阶段：

一，在线探索。当前探索策略引导 coding agent 扩展发现树，并记录历史轨迹。

二，构建重放模拟器。把生成的发现树转换成可复用的模拟器池。

三，基于「做梦」的策略改进。agent 先在脑子里提出大量替代策略，把这些候选策略喂进重放模拟器里模拟执行，拿到快速反馈，据此持续精炼策略。更新后的策略重新部署回线上，驱动下一轮探索——同时让模拟器池继续扩大。

这就是那个自我改进的闭环：每一轮在线发现都在为下一轮的「做梦」补充素材，而更好的策略又让下一轮在线探索更有效率。

实验设置

三个科学发现领域：算法工程、数学优化和 GPU kernel 优化。

算法工程用的是 Lasso 正则化路径发现：高维统计里的一个基础计算原语，目标是发现完整路径的高效实现，同时保持数值正确性。沿用 SimpleTES 的基准设置（17 个合成实例，覆盖不同维度、稀疏度、特征相关性与 active set 结构），对手包括 sklearn、glmnet，以及用 GPT-OSS-120B 的 SimpleTES。

主对照叫「递归固定探索」：相同的发现 agent、相同的评估器、相同的初始化、相同的资源约束，第一轮的探索策略也完全一样——唯一的差别是它在后续轮次里**不再更新策略**。两个方法都从同一个手工设计的探索策略出发：并行开多个独立探索工作区，每个工作区维护自己的局部发现轨迹，反复精修当前候选。

发现成本用累计的 discovery-agent 调用次数衡量：Gemini-3.1 Pro 每轮 10 个并行工作区、最多 11 步精修，即 110 次调用；Gemini-3.7-Flash 每轮 32 个工作区、最多 20 步，即 640 次。Dream-RSI 保持完全相同的每轮预算，只在后续轮次里逐步更新策略，一共跑 5 轮。

结果

在算法工程、数学优化、GPU kernel 工程三类任务上，Dream-RSI 达到有竞争力或更好的发现质量，同时在若干设定下显著降低发现成本。论文给出的主图是「下游平均运行时 vs 累计发现算力」的曲线：同样的算力下，会更新策略的那条线更快落到更好的运行时上。

论文还做了两组分析：长时程发现里历史归纳偏置的作用，以及探索行为本身在递归轮次中如何演化。

代码与项目页都已放出：github.com/zhengkid/Dream-RSI，dream-rsi.com。

值得记下的一点：这个方法把「省下来的算力」重新投到策略搜索上——不是让 agent 更会写代码，而是让它更会决定「下一步该探哪里」。这也是它和「换个更强的模型再来一遍」最本质的区别。

原文：https://arxiv.org/abs/2609.14858

#RSI #Agent #探索策略