据 VentureBeat Pulse Research 最新研究显示，在覆盖 157 家企业的调查中，企业正在给 AI Agent 更高的自主权限，但对用于放行这些权限的评测体系却越来越缺乏信任。来源显示，过去一年中，有一半企业曾上线通过内部评测的 Agent 或 LLM 功能，随后在面向客户的生产环境中发生失败；只有 5% 的受访组织表示目前完全信任自动化评测。与此同时，约三分之二的企业已经允许，或正在工程化推进，仅依靠自动化评测把 Agent 变更部署到生产环境，不再保留人工审核环节。
这项研究将问题概括为“评测缺口”：企业交给 Agent 的自主性越来越高，但用于捕捉风险、决定是否上线的测试体系，其可信度并没有同步提升。对开发者和 API 使用者而言，这不是一个单纯的模型能力问题，而是涉及模型调用链路、评测数据、生产观测、权限控制和发布策略的系统性问题。
通过 eval 不等于生产可用
来源摘要指出，企业最常提到的评测短板并不是覆盖面不足，而是评测结果与真实业务结果对齐不够。换言之，测试集、离线评测、自动打分器或沙箱任务可能显示 Agent 表现合格，但一旦进入真实客户场景，仍可能因为上下文变化、工具调用错误、权限边界不清、用户意图复杂或外部系统状态不一致而失败。
这种差距在 Agent 场景中尤其突出。传统 LLM 功能可能主要是生成文本、摘要或问答，而 Agent 往往会调用工具、读取数据、执行流程，甚至触发订单、工单、邮件、代码变更等后续动作。只要其中某个步骤判断错误，影响就可能从“回答不准”升级为“业务动作出错”。因此，企业即使拥有较完整的内部评测，也仍可能低估生产环境中的长尾风险。
- 50% 的组织在过去一年遇到过“内部评测通过、客户侧失败”的上线结果。
- 约四分之一组织不止一次遇到类似问题，说明这并非偶发样本。
- 只有 5% 的组织完全信任自动化评测，表明自动 eval 仍难承担单点放行责任。
- 最常被提及的问题是评测与真实结果不一致，而非简单缺少更多测试项。
为什么企业仍在推进无人值守上线
值得注意的是，尽管信任不足，企业部署方向却在加速自动化。来源显示，约三分之二企业已经允许或正在建设能力，使 Agent 变更可以仅凭自动评测进入生产环境。这反映出企业面对效率、成本和迭代速度的现实压力：人工审核慢、业务变化快、模型版本和提示词调整频繁，团队希望用自动化流程替代人工闸口。
但这也意味着，评测系统从“辅助判断工具”变成了“生产发布门禁”。一旦门禁与真实业务风险不对齐，企业就会把不确定性直接推向客户。对于依赖 OpenAI、Claude、Gemini 等模型 API 的团队来说，问题还会叠加模型版本漂移、供应商策略变化、上下文窗口差异、工具调用格式变化和并发异常等因素。即使业务代码没有改动，底层模型行为也可能发生细微变化，导致原先通过的 Agent 在新环境中表现不同。
对 API 接入与中转服务的启示
从 API 使用者角度看，这项研究提示：企业不能只关注“哪个模型更强”或“调用成本更低”，还需要把评测、灰度、日志和回滚纳入 Agent 架构。尤其在通过中转服务或统一网关接入多家模型时，平台侧能力应帮助团队记录请求、响应、延迟、错误率、模型版本、路由策略和工具调用结果，从而把生产数据反哺到评测体系。
更稳妥的做法是将自动化 eval 作为多层防线之一，而不是唯一放行依据。例如，高风险动作保留人工确认；对不同模型供应商设置独立基准；对提示词、工具 schema、路由策略变更进行灰度发布；出现异常时可快速切回旧版本或备用模型。对于需要额度、并发和稳定性的企业客户，中转层也可以承担“策略控制面”的角色：限制高风险 Agent 的调用权限，按场景分配模型，并对失败样本做持续归档。
总体来看，这份研究强调的不是企业缺少测试，而是测试没有充分贴近真实世界。Agent 走向生产的速度已经超过了评测体系成熟的速度。在未来的企业 AI 落地中，可靠性竞争将不仅发生在模型参数和价格上，也会发生在评测闭环、生产观测、权限治理和 API 调用稳定性上。