EvolveR 团队 投稿量子位 | 公众号 QbitAI过去一年Agent学会了两件事会用工具、会调用Skill。但它始终不会一件事从自己的错误里变强。但这些Skill大多来自外部人手写、社区贡献、工程团队维护、用户手动安装和配置。这带来了三个问题第一Skill增长依赖人类工程师。第二Skill质量参差不齐。第三Skill和Agent自身策略未必匹配。现在一篇ICML 2026接收论文提出了一个新的答案EvolveR。它试图让Agent不再只是被动安装别人写好的Skill而是能够从自己的成功和失败轨迹中自动蒸馏出可复用的“经验”并在后续任务中检索、使用和强化这些经验。△EvolveR与现有Agent学习范式对比换句话说EvolveR关注的是Agent的下一步从“会用Skill”走向“会从经验中长出Skill”。EvolveR把交互轨迹蒸馏成Agent自己的“认知Skill”EvolveR的核心思想是Agent每次完成任务后不应该只留下日志它应该从日志中提炼出下次还能用的经验。在EvolveR中Agent会经历一个闭环生命周期在线交互Agent面对任务调用外部知识库和内部经验库生成完整执行轨迹离线自蒸馏Agent冻结参数回看自己的成功和失败轨迹总结出简洁的经验策略经验库维护系统对新经验做语义去重、合并、动态评分保留真正有用的经验策略进化再用强化学习训练模型让它学会在合适时机检索和应用这些经验。这些经验并不是传统意义上的工具插件更像是Agent的“认知Skill”。比如遇到比较类问题时先分别收集两个对象的信息再下结论判断人物关系时不要只凭角色名猜测演员需要查证角色描述如果搜索经验的结果不足不要重复同一个查询词而要改写查询角度。这些经验不是外部教师灌进去的而是Agent从自己的成败经历中总结出来的。△EvolveR完整生命周期可筛选、可评分、可进化的经验库很多Agent记忆系统会直接保存原始轨迹或自然语言反思。但EvolveR更强调经验的“维护”。每条经验都会记录使用次数和成功次数并根据历史表现计算一个动态分数分值低于阈值的经验会被无情“剪枝”语义重复的原则会被合并确保 Agent 的大脑始终轻盈且高效。这点在今天的Skill生态里尤其重要。当Agent装了越来越多Skill、积累了越来越多记忆之后真正的问题不再是“有没有经验”而是哪些经验真的有效哪些经验过时了哪些经验彼此重复哪些经验会误导模型用强化学习让Agent学会“使用经验”EvolveR与普通经验检索最大的区别在于它不只是把经验放进上下文。在线交互阶段Agent可以通过动作主动检索经验库再通过查询外部知识最后给出答案。随后EvolveR使用GRPO强化学习对这些经验条件下的轨迹进行优化。奖励函数不仅看最终答案是否正确也看推理格式、经验检索、知识检索是否合理。如果只看最终答案对不对稀疏奖励Agent很难学会”如何善用经验”这种中间行为。EvolveR设计了一套复合奖励函数把”做事”和”会做事”区分开来打分结果奖励Outcome Reward最终答案和标准答案做精确匹配。格式奖励Format Reward思考步数奖励鼓励Agent进行适度的推理但不鼓励无脑堆长度防止Agent陷入”无限反思”的死循环强制它学会想够了就该动手。搜索多样性奖励明确激励Agent同时调用内部经验和外部知识而不是偏废其一。因此模型学到的不只是“答案是什么”而是——什么时候该查经验、查什么经验、如何把经验转化成有效行动。这让EvolveR区别于传统RAG或简单Memory系统。RAG解决的是“缺知识”EvolveR解决的是“缺经验”。在多跳问答上超过Search-R1等强Agent基线论文在7个复杂问答基准上验证了EvolveR在Qwen2.5-3B和7B模型上EvolveR都取得了最优平均表现。相比CoT、RAG、SFT、Rejection Sampling以及Search-R1等方法EvolveR整体表现更强尤其在多跳推理和域外泛化任务上更稳定。论文还发现了一个很关键的现象当模型较小时用外部教师模型GPT-4o-mini帮助总结经验效果更好但当模型扩展到3B时Agent自己总结出来的原则反而超过外部教师总结的原则。这说明一个重要问题对Agent来说最强的经验不一定来自最强教师而可能来自与自身策略最匹配的“自我经验”。作者将其解释为一种“认知对齐”Agent自己蒸馏的原则更符合自身能力边界和推理习惯因此在实际任务中更容易被用好。这个发现对当前Skill生态也有启发未来的Agent Skill不一定都来自人类编写可能会有一部分来自Agent自身的长期执行轨迹。从“工具扩展”到“经验进化”2026年的Agent浪潮已经证明只要给大模型工具、权限和工作流它就能完成越来越多真实任务。但这也暴露了新的瓶颈Agent的能力增长不能永远依赖人类不断写Skill、装插件、修Prompt。LangChain最近也指出Agent持续学习并不只发生在模型权重层还可以发生在harness和context层而轨迹是这些学习流程的核心数据来源。EvolveR给出了一个更自主的方向让Agent把自己的成功和失败转化为可复用经验再通过强化学习将“如何使用经验”内化到策略中。从这个角度看EvolveR不是一个普通的Agent记忆方法而是面向后OpenClaw/Claude Code时代的一个问题当Agent拥有工具箱之后它能不能开始自己积累经验EvolveR的答案是可以。这可能是Agent从“会干活”走向“越干越会干”的关键一步。作者介绍本文来自于上海人工智能实验室KnowledgeXLab团队。本文一作吴荣是浙江大学与上海人工智能实验室联培博士研究方向 大模型智能体自进化持续学习。本文的通信作者为上海人工智能实验室的青年科学家石博天。论文链接: https://arxiv.org/abs/2510.16079Github仓库链接https://github.com/KnowledgeXLab/EvolveR