study.
知识库/行业观察

企业 Agent 卡住的不是模型:1906 份问卷给出的答案

阿里云把 Agent 拆成架构、构建、运行、治理、调优五段,写成了 30 章。真正值得带走的是那组数据

进阶9 分钟原文 2026.09.11整理 2026.10.18

一句话结论

企业 Agent 的瓶颈已经从"能不能做"移到了"能不能稳定跑",而卡住的地方不是模型,是模型之外那套叫 Harness 的工程系统——上下文、状态、工具、沙箱、权限、观测、评估。手册里那组数据比任何架构图都有说服力:46% 的企业在做,18% 上了生产,持续迭代的不到 10%。

这份材料讲了什么

  • 一份 1906 人的开发者调研,加上一本 30 章、6 篇的开源手册,按 Agent 的架构、构建、运行、治理、调优全生命周期组织。
  • 核心命题:Agent = Model + Harness。模型提供智能,Harness 提供确定性。企业要设计的不再是一次模型调用,而是一个跨越认知、状态、执行、控制、改进的完整系统。
  • 五种应用形态长期共存,不是新旧替代。Workflow 与 Agent 并存,单 Agent 与多 Agent 并存,人在回路(HITL)也被 15% 的企业当成架构原则而非审批开关。
  • 最痛的三个点依次是:上下文与记忆、路由与成本、评估缺位。前两个是工程问题,第三个是能力问题——它决定了前两个能不能被验证。
  • 手册给了一套"最低充分架构"的判断法:自主性要和任务风险匹配,不是越高越好。

几个必须先对齐的概念

Agentic Application:以任务交付为目标的 AI 应用,区别于"人判断、模型建议"的 Chatbot 与 Copilot。判断标准不是有没有对话界面,而是谁承担完成责任。

Harness:模型之外、让 Agent 能稳定跑起来的那一整套工程。包括上下文组织、任务状态、工具控制、环境隔离、失败恢复、结果评估、风险约束。这个词是这份手册的支点——它把"Agent 不行"这个模糊结论拆成了可逐项排查的清单。

L1–L4 成熟度:L1 辅助生成、L2 受控自动化、L3 Agentic Execution(只在部分场景成立)、L4 Managed & Optimizing(尚属少数)。手册的构建、运行、治理、调优四篇,本质上都在回答"怎么从 L2 走到 L3、L4"。

HITL(Human-in-the-Loop):关键步骤必须由人确认。注意手册里的用法——它是一种架构选择,不是给不成熟的 Agent 打的补丁。

Trajectory(轨迹):不只是调用日志,而是包含输入、决策、工具调用、中间结果、最终产出的完整行为证据。评估与调优都以它为原料。

LLM-as-Judge:用模型给模型的输出打分。便宜、可规模化,但有偏见,需要和人工抽查交叉校准。

黄金数据集:带输入、轨迹、结果和判据的高质量评估集。手册把它当成资产,而不是一次性的测试文件。

关键数据:生产化的真实分布

数据 数值 来源 怎么读
已开发完成或开发中 46%(去年 36%) 1906 份问卷 投入意愿已经不成问题
真正部署到生产 18% 同上 从"做出来"到"跑起来",掉了 28 个百分点
持续迭代 不到 10% 同上 这才是真正的分水岭:能不能长期养
暂无开发计划 15%(去年 22%) 同上 观望的人一年少了 7 个点
单 Agent 为主 40% 同上 与多 Agent 几乎持平
多 Agent 为主 42% 同上 说明多 Agent 已不是"先进方案",是常规选项
HITL 作为主要架构 15% 同上 少,但把它当原则而非开关
用通用 Agent 框架 78% 同上 框架层渗透率高
采购 Coding 工具 57% 同上 Coding 是唯一规模化付费的场景
同时用编程与通用 Agent 近 40% 同上 两条线在互相渗透
上下文与记忆有明确需求 90% 同上 几乎是共识级痛点
痛点:检索不准 54% 同上 排第一,且不是窗口能解决的
痛点:记忆更新与遗忘机制缺失 48% 同上 第二
上下文窗口限制 排第三 同上 这条最反直觉:大家都在喊窗口,实际问题排第三
多模型路由与自动降级 63% 同上 单项需求最高,超过任何单点能力
评估靠人工抽查 55% 同上 主流做法仍是人看
基于轨迹自动评估 6% 同上 缺口最大的一环
用公开 Benchmark 不到 5% 同上 榜单一度热,实际用于生产评估的极少
没有系统性评估体系 28% 同上 近三成企业无法证明改动有效
任务成功率 90% 以上 约一成 同上 少数派
任务成功率 70% 以上 约 55% 同上 及格线附近
从未量化过成功率 16% 同上 这些企业无法判断 Agent 是否在正常工作
有评估 vs 无评估的成功率 约 2 倍 同上 70%+ 成功率的比例对比
已上线并持续迭代者的成功率 84% 同上 形成正循环后的样子
已关注或落地 MCP 37% 同上 认知层已经铺开
完成企业内私有部署 9% 同上 从认知到工程,掉了 28 个百分点
成本归因需求 50% 同上 仅次于全链路追踪,高于审计合规
大企业 vs 小微上线率(上海) 45% vs 16% 同上 差距不在意愿,在工程能力储备

一句话读这张表:开发率的差距不大,上线率的差距很大。 手册的解释是,差别不在"愿不愿意投入",而在"有没有持续演进 Agent 的工程能力"。

能用在什么地方

拿去当立项评审的尺子。 手册的架构篇给了一个很实用的问法:这项任务的确定性有多高、容错空间有多大、需要多高的自主性?三个答案决定你该用 Workflow、单 Agent、多 Agent 还是 HITL,而不是"先进就用哪个"。评审会上最常吵的"要不要上多 Agent",用这个框架能十分钟收敛。

拿去给现有系统做体检。 把上面那张表里六项拉出来自测:有没有系统性评估、成功率量化了吗、成本能归因吗、多模型路由做了吗、上下文写入与淘汰策略是什么、MCP 有治理吗。六项里缺三项以上,基本可以判断还没到能上生产的阶段。

拿去排补短板的顺序。 数据给的优先级很明确:先补评估(因为它决定其他改动的效果能否被证明),再补路由与成本(63% 的单项最高需求),最后才是上下文策略(虽然呼声最高,但它是持续优化项而非阻塞项)。这个顺序和大多数团队的直觉是反的。

争议与局限

样本有偏差。 1906 份问卷来自北京、深圳、广州、上海、杭州的线下开发者沙龙,受访者以技术决策者、架构师、一线工程师为主。这群人本来就偏向"已经在做 Agent 的",所以 46% 的开发率可能高于全行业真实水平。

数据是自报的。 任务成功率、评估方式、成本归因全靠受访者自述,没有交叉验证。特别是"成功率"这个指标,各家定义可能完全不同。

手册有立场。 这是阿里云主导的项目,运行篇里的 AI 网关、状态存储、资产注册中心,与它的产品线高度对应。读的时候要分清两类内容:哪些是行业共性判断(比如"Agent = Model + Harness"),哪些是厂商主张(比如"需要一个统一流量入口")。后者有道理,但不是唯一解。

它是白皮书,不是教程。 30 章里概念框架和判断占大头,可直接抄的代码很少。想照着做出东西,得自己去补工程细节。

作者自己也承认时效问题。 前言里写得很坦白:这本书里的体系、判断、经验、教训,也许不久就会被修正甚至推翻。所以它是 2026 年 10 月的一份快照,不是定论。

还有一处内部口径不一致。 调研报告正文说"能基于运行轨迹自动评估的不足 8%",另一处写"只有 6%",同一份报告里两个数。差距不大,但说明这类自报数据的精度有限。

延伸问题

  • 那 18% 上了生产的企业里,有多少是真的无人值守,多少其实是"人盯着跑"?
  • 把成功率做到 84% 的那批企业,单位任务成本是多少?可靠性和成本之间有没有一个公认的平衡点?
  • Harness 这一层会不会像容器编排一样,最终收敛成少数几个事实标准?如果会,现在自建的东西有多少会作废?
  • 手册把"评估"排在补课第一位。但如果一个团队连业务指标都没定清楚,评估该从哪一步开始?

怎么读这本手册

如果只读一部分,按身份选:

  • 要做技术选型或立项:调研报告 → 第 1–3 章 → 实践篇 → 第 30 章
  • 要把 Agent 接进生产:第 7–9 章 → 第 13–14 章 → 第 18–23 章
  • 在搭多 Agent 系统:第 4–6 章 → 第 10–12 章 → 第 13、16 章
  • 负责评估与持续优化:第 13 章 → 第 18–23 章 → 对应领域案例

手册原话是"可迁移的抽象比押注某个具体框架更有价值"。这句话在选型还没收敛的当下,比任何框架推荐都实用。

原文出处

阿里云《AI Agent Handbook》(GitHub 开源,Apache-2.0) · 阿里云团队及外部贡献者

本条为独立解读,不是原文翻译。数据与观点已标注归属,原文观点不代表本站立场。
同类条目