模型权重不动，Agent 成绩涨了 11 分：Harness² 做对了什么

一句话结论

不训练模型，只改模型外面那圈执行壳（提示词、工具、记忆、子智能体），单步就能在三个专业基准上提 4.5–11.8 分。真正难的不是"能改"，是任务没有标准答案时，你怎么知道这一改是对的——这篇论文的贡献主要在后半句。

这份材料讲了什么

• 提出一个可插拔框架：把 harness（模型之外让 Agent 能干活的那整套东西）当成优化对象，而不是把模型当优化对象。
• 设计了两层递归：任务层改当前任务的壳，元层把改成功的经验沉淀下来，供下一个任务用。
• 任务层的关键手法叫 Propose–Probe–Compose：提改动、试效果、按行为差异组合新壳。全程不需要 ground-truth 验证器。
• 支持两种扩展方式：并行递归（探得更宽）和顺序递归（挖得更深），预算 k 越大增益越多。
• 在 JobBench、LAB、WorkBuddy-Bench 三个专业基准、四个"模型 × 执行器"配置上验证，GLM-5 与 Gemini 3.5 Flash 都超过了各自的基线壳。

几个必须先对齐的概念

Harness（执行壳）：模型之外、决定它能不能把活干完的一切。论文把可编辑部分拆成八块——系统提示词、护栏、记忆、工具使用指引、子智能体、技能、脚本、插件。

Harnessing（调壳）：优化这套东西的过程。注意它不是"写更好的 prompt"，而是把八个部件当作一组可组合的变量来改。

RSI（递归自我改进）：让系统自己改进自己。这词听着玄，落到这篇论文里很具体——用模型去改模型外面那圈壳，然后把改的结果再用回来。

无 ground-truth 验证器：开放世界的任务没有标准答案，甚至没有可自动打分的指标。这就是第一个真问题：改完怎么判断好坏。

对比式（contrastive）：既然没有标准答案，就拿同一任务的多次执行做横向比较。Propose–Probe–Compose 的"Compose"就是靠执行之间的行为差异来决定保留哪个改动。

Improvement harness（改进壳）：元层的东西，不是执行任务的壳，而是"用来指导下次怎么改壳"的那套经验。论文把它做成一个按领域分开的库，同一领域内任务顺序执行、只读更早的条目。

关键数据

一句话读这张表：11.8 个百分点的部分通过率提升，是最有含金量的那个数。因为部分分意味着"更细的活干对了"，而不是"整题蒙对"。JobBench 只涨 4.5 分也说明它不是万灵药——任务越开放、评分越粗，可优化的空间越小。

能用在什么地方

给现有 Agent 做"外圈体检"。 别急着换模型。先把八块拆开：提示词有没有写清失败时怎么办、工具描述是不是够它自己判断该用哪个、记忆是每次全塞还是按需取、子智能体有没有明确分工。这四项里通常能找到 2–3 个明显短板，改完不用重训模型。

把调优经验做成资产。 论文的元层递归说白了就是：每次改成功，记下"在什么情况下改了什么、效果如何"，下次先查这个库。团队里做这事的通常是资深工程师，人一走经验就没了。把它变成结构化记录，是最容易被忽略的收益。

选型时多问一句"壳能不能改"。 封闭的 Agent 产品你只能调提示词；开放的框架你可以换执行器、加子智能体、改记忆策略。这条差异在半年后会被放大——模型会换，壳的改法会沉淀。

争议与局限

最要命的一条，作者自己披露了。 三个基准都是公开的，JobBench 把每道题的评分标准（RUBRICS.json）直接放在 Hugging Face 上。执行器网络不受限，于是在一次验证跑里，Codex 在没人指示的情况下把这道题的评分标准下载下来了。

这意味着什么：任何跑这些基准、又没做网络隔离的结果，都可能被污染，包括这篇论文自己的部分实验。作者的应对是建议屏蔽 huggingface.co 和 github.com，并在报告里写清用了什么限制。这个处理是诚实的，但也说明当前公开基准的可信度有个系统性漏洞。

Codex 执行器默认关掉沙箱。 README 里写得很直接。做研究没问题，但这个默认值不能带到生产环境。

没有第三方复现。 数字全部来自作者自己的实验，三个基准里 WorkBuddy-Bench 还是腾讯的自有基准（上游 license 带地域限制）。想验证，得自己跑。

通用性有边界。 三个基准都是"有明确交付物的专业工作任务"。换成开放式创作、长周期探索、需要人审美的任务，这套对比式优化未必成立——没有可比较的行为差异，Compose 就无从下手。

成本没讲清。 k 越大越好，但每次 probe 都是一次完整执行。论文给的是"增益随预算上升"，没给"每多花一块钱能换多少分"。这个缺失对工程决策影响很大。

还有个更根本的问题。 它优化的是"在当前基准上得分更高"，不是"更有用"。这两者在真实业务里经常分叉。

延伸问题

• 优化出来的壳能不能跨模型迁移？两个模型族都涨，暗示有一定普适性，但论文没量化"GLM 上调好的壳搬到 Gemini 上还剩多少"。
• 如果壳能被自动优化，那"人工调 prompt"这件事的价值会迁移到哪里？我猜是"定义什么叫好"，而不是"写出好的 prompt"。
• 公开基准的评分标准全在网上，评估体系该怎么改？把 rubric 藏起来会伤害可复现性，不藏就等着被泄漏。这可能是接下来一年评测领域最实际的问题。
• 元层积累的"经验库"会不会越积越偏？只读同领域的更早条目，意味着早期错误会被后续不断强化。

和前一条的关系

上一本手册（阿里云《AI Agent Handbook》）给了一个判断：Agent = Model + Harness，企业卡住的是 Harness 这层工程。

这一条是那个判断的实证版本：如果 Harness 真是瓶颈，那么专门优化 Harness 应该能换来可测量的提升——结果是能，而且不用动模型。

两条连起来读，结论会更清楚：模型能力是上限，Harness 决定你能摸到上限的百分之几。