Evolver:不改模型权重,把智能体探索沉淀成可复用的「Gene」,320 对测试里成功率 83.13%→87.50%,token 少 24%
Evolver:把智能体的探索变成会演化的能力
Haoyang Zhang、Qumeng Sun、Xiao Zhang、Xiang Liu、Zhidong Fan、Junjie Wang Infinite Evolution Lab, EvoMap https://github.com/EvoMap/evolver https://arxiv.org/abs/2611.07595
摘要
智能体在探索中会产生有价值的程序性知识,但这些经验大多只留在一次性的执行轨迹里,没有被系统地复用。我们提出 Evolver,一套不更新基础模型参数、把探索变成可持久复用能力的经验驱动框架。它围绕结构化的 Gene 资产,把经验采集、检索和由反馈引导的演化整合在一起,让现有的智能体外壳(harness)能按经验来执行任务。我们用 Claude Code 和 Codex、两种基础模型配置,以及 Terminal-Bench 2.1、SWE-bench Multilingual、SWE-rebench 和 GAIA 四个基准做了评估。在一组 320 对配对执行的诊断集上,Evolver 把任务成功率从 83.13% 提高到 87.50%(+4.38 个百分点),同时把记录到的任务执行 token 消耗降低 24.24%。在两种条件下都成功的 265 对里,token 消耗仍下降 17.57%,说明即便任务已经能做对,效率也能提升。这些结果说明,持久的程序性经验可以同时改进效果和效率,为把探索变成会演化的能力提供了一个可落地的基础。
1 引言
大语言模型智能体已经从生成文字,走到了通过工具使用和环境交互来分步解决问题。这类任务常常需要大量探索、调用工具、从失败中恢复并核对结果,计算和交互成本都很高。可是这些交互里学到的程序性知识,往往只属于这一次执行,后面的任务还得重新发现有用策略、重复类似的探索。于是就有一个根本问题:怎样把过去探索里投入的计算,变成能持续改进后续智能体能力的可复用经验?
我们提出 Evolver,一套围绕“从探索到演化”原则的经验驱动系统:把任务执行中获得的知识变成可持久的策略资产,用来指导下一次决策并支持迭代适应。在 Gene 表示的基础上,Evolver 把可复用步骤及其适用条件编码成结构化的 Gene 对象,通过 Capsule 把它们和具体执行案例关联起来,并保存事件、出处和评审记录来管理经验。它接入现有的智能体外壳,在不修改底层模型参数的情况下,让历史经验能在后续任务执行时被用上。
评估覆盖 Claude Code 和 Codex 两种外壳、两种基础模型配置,以及上述四个基准。在 320 对配对执行的诊断集上,加入 Gene 后总成功率从 83.13% 升到 87.50%(+4.38 个百分点),Claude Code 提升 2.50 个百分点,Codex 提升 6.25 个百分点。16 种配置里有 9 种成功率更高。任务执行 token 整体下降 24.24%;在两种条件都成功的 265 对里,token 仍下降 17.57%。
实验评估(第 4 节摘要)
作者采用“基线—抽取—Gene”三阶段协议。基线阶段智能体只用自带工具,不加额外 Gene;抽取阶段从有效的基线轨迹里提炼可复用策略;Gene 增强阶段在新会话里把原任务和选中的 Gene 一起交给智能体。Gene 选择优先使用同一任务产生的经验,注入预算为 12000 字节。这 320 对观察是诊断集,不是完整基准的随机抽样:最终任务选择考虑了观察到的结果改进和 token 用量。
总成功率从 83.13% 升到 87.50%。Claude Code 从 85.00% 到 87.50%(+2.50);Codex 从 81.25% 到 87.50%(+6.25)。Terminal-Bench 2.1 的合计改进最大,从 64/80 到 71/80(+8.75 个百分点)。SWE-rebench 和 GAIA 分别提高 5.00 和 3.75 个百分点;SWE-bench Multilingual 两种条件都是 96.25%。记录到的平均任务执行 token 从 1641.1K 降到 1243.3K(24.24%)。在两种条件都成功的 265 对里,平均 token 从 1278.2K 降到 1053.6K(17.57%)。
两个代表性例子:Terminal-Bench 上一个统计数据集 token 的任务,Claude Code 搭配 GPT 两种条件都成功,Evolver 把 token 减少 86.5%,模型调用从 112 次降到 17 次;SWE-bench Multilingual 上一个修复 RxJava 并发空指针的任务,Codex 搭配 DeepSeek 两种条件都成功,Evolver 把 token 减少 58.2%,调用从 86 次降到 52 次。
5 结论
Evolver 在不修改基础模型参数的前提下,把一次性的智能体探索变成可持久复用的程序性经验。在两种外壳、两种模型配置和四个基准上,所选诊断评估显示经验复用把任务成功率提高 4.38 个百分点,同时把记录到的任务执行 token 消耗降低 24.24%。在两种条件都成功完成的任务上,token 消耗仍下降 17.57%。未来工作将研究更可靠的经验选择和验证、向未见过任务的迁移,以及可复用能力的长期演化。
https://arxiv.org/abs/2611.07595转载,侵删。版权归原作者,如有侵权请来信,收到后删除。
同一批次的其他文章
苹果正抓紧让 Siri 更像智能体:先精细控制自家 App,再接第三方,下一步要能持续盯着目标往下做
The Verge 援引彭博 Mark Gurman 的报道:首席执行官 John Ternus 在敦促负责 AI 的 Craig Federighi 加快 Siri 路线图,做出能和 OpenAI Dots、Meta Muse 竞争的智能体。接下来几个月有两步:精细控制苹果自己…
高盛收回交易员和银行家手中的 Claude Code:编码智能体交还给工程师,而该行正承销 Anthropic 上市
State of AI 根据彭博报道梳理:高盛 10 月更新内部指引,把 Anthropic 的 Claude Code 和微软 GitHub 限给工程师使用,交易员和银行家不能再用它们监测客户资金流、给市场和头寸建模。跨交易、量化研究和工程的 Strats 仍可使用。矛盾在于:…
猫王与阿姆权利方起诉 Suno:指控其用 AI 克隆声音和歌词,并援引田纳西 ELVIS 法案
The Verge 11 月 8 日报道,猫王 Elvis Presley 音乐的一批权利方,以及阿姆 Eminem 部分热门唱片的出版商,分别起诉 AI 音乐公司 Suno,称它非法生成模仿这些艺人的音乐和歌词。猫王一方主张 Suno 违反了田纳西州禁止 AI 克隆歌手声音的 …
agent-desktop:不靠截图和像素匹配,让智能体通过系统无障碍树来查看和操作桌面应用
Vercel Labs 的计算机使用 CLI(也提供 C 库),覆盖 macOS、Windows 和 Linux。它把桌面应用的无障碍树读成 JSON,每个可操作元素带一个只在当次快照里有效的 ref,智能体对 ref 点击或输入,再重新快照核对结果;循环写在你的智能体里,工具本…
Astryx:Meta 开源的设计系统,150 多个无障碍组件,人和编程智能体用同一套 API、文档和 CLI
README 写它在 Meta 内部用了八年,是公司里用得最多、最大的设计系统,支撑 1.3 万多个应用。现在以 MIT 许可开源,基于 React 19 和 StyleX,但使用者不必上 StyleX 构建插件,用 className 就能和 Tailwind、CSS Modu…
Concat:本地优先的开源视频编辑器,内置 MCP 和 JSON-RPC,智能体也能直接剪片子
Rust 写的原生编辑器,macOS、Windows、Linux 和 Android 都能用,当前版本号 0.2.10,AGPL-3.0。功能覆盖自动字幕(本地 Whisper)、语音合成和声音克隆、抠像、关键帧、多轨时间线和最高 4K 导出,没有水印、账号和订阅,素材默认不上传…
herdr:给编程智能体住的运行时——关了客户端或 SSH 断了,后台终端还在跑
用 Rust 写的单一二进制,不套 Electron,定位是 Claude Code、Codex、Cursor、OpenCode、Grok 等现有编程智能体的「住处」,而不是再包一层代理。关掉客户端或 SSH 断开时,后台服务继续跑终端;服务器重启后会恢复布局,并尝试恢复受支持的…
Agentero:给人看 PDF、给模型看结构化上下文的本地科研工作台,文献和笔记留在本机
作者认为 Zotero 很强,但论文、笔记和跟模型的对话常常散落在三个地方,双栏 PDF 对模型也不友好。Agentero 不想取代 Zotero,而是让人负责提问和判断,让智能体负责批量检索、抽图表公式、理引用和做基础总结。人这边有 PDF 阅读、划词高亮、双向链接笔记和对照翻…
DeepSeek Harness 说想做 Agent 时代的操作系统:内置通用能力,但第三方插件可以替换它们
DeepSeek Harness 官方账号 11 月 8 日发了一篇题为《与插件社区一起成长》的长文(约 3400 个赞)。核心立场写在产品负责人 Tianyi Cui(@tianyi)的跟帖里:他们希望 DeepSeek Harness 成为 Agent 时代的操作系统——系统…
elvis:别过度依赖别人的智能体外壳,现在模型变强了,外壳反而该自己掌握
DAIR.AI 的 elvis(@omarsar0)11 月 8 日写了一条长帖:深入用智能体之后会发现,现成外壳会限制模型;越来越多全栈 AI 公司开始自建外壳,用开源外壳至少还能改,但最好还是自己拥有、理解并维护它。他的理由是:模型在工具调用、逐步披露和持久化上已经强了很多,…
DeepMind 的 Pushmeet Kohli:项目里看到科学发现的速度正在「相变」,未来几周的发布会让外界看到一点
Google DeepMind 负责 AI for Science 的 Pushmeet Kohli 11 月 8 日发帖说,在他们的各个项目里,科学发现的节奏正在经历真正的相变,未来几周的发布会让人看到一点端倪。这条帖子约 6300 个赞、50 万次展示,没有点名具体产品或论文…
Ramp 怎样在客户用上之前测试记账智能体:先拆会计任务,再造带完整账本的合成公司做回测
Ramp 应用科学负责人 Ryan Stevens 在 AI Engineer 大会上讲他们为记账智能体 Stack 做端到端评估的方法。他把会计工作拆成对账、差异分析等任务,再造出带完整账本的合成公司,让智能体可以在同一套数据上反复回测;也对比了准确率和 pass@k,并谈到最…