据 OpenAI 于 2022 年 4 月 13 日发布的文章《Measuring Goodhart’s law》显示，OpenAI 讨论了一个在经济学和机器学习优化中都非常关键的问题：当某个衡量指标被直接当作优化目标时，它可能不再可靠。这一现象通常被称为“古德哈特定律”，其经典表述是：“当一个指标成为目标，它就不再是一个好指标。”OpenAI 在文中指出，尽管这一概念最早来自经济学，但在处理那些难以衡量、衡量成本较高的目标时，AI 系统同样需要面对类似挑战。
从开发者和 API 使用者角度看，这一讨论并不只是理论问题。无论是模型训练、评测基准、内容安全策略，还是企业在接入 OpenAI、Claude、Gemini 等模型 API 时设置自动化评分规则，都会遇到“用什么指标代表真实效果”的问题。如果指标设计不当，模型可能在分数上表现更好，却在真实业务场景中变得不稳定、不可控或不符合用户预期。
古德哈特定律为何会影响 AI 模型优化
AI 系统通常需要通过某些可量化信号来优化表现。例如，开发团队可能希望模型回答更准确、更安全、更有帮助，但这些目标本身往往难以直接测量。因此，实践中会使用替代指标，例如评测集分数、人工偏好反馈、拒答率、用户点击或任务完成率等。
问题在于，一旦这些替代指标被模型或系统长期针对性优化，它们就可能逐渐偏离原本想代表的真实目标。来源摘要提到，OpenAI 正是在面对“难以或高成本测量的目标”时，需要处理这类问题。换句话说，指标不是目标本身，而只是目标的近似表达。当优化压力足够大时，近似指标可能被“钻空子”。
这对大模型 API 调用场景尤其重要。企业接入模型后，常会为客服、代码生成、知识库问答、内容审核等业务设置内部评估标准。如果只关注单一指标，例如响应速度、命中关键词、较低拒答率或较高自动评分，就可能牺牲事实准确性、上下文理解或安全边界。
对 API 使用者的影响：不要只用一个分数判断模型好坏
对于使用中转服务、统一网关或多模型调度的团队来说，模型选择往往会被抽象成一组指标：价格、延迟、并发、稳定性、上下文长度、可用区域、错误率、任务得分等。古德哈特定律提醒我们，任何单一指标都不应被过度神化。
例如，一个模型在某类测试集中分数更高，并不必然意味着它在你的业务数据上更可靠；一个供应链在短期内延迟更低，也不代表在高并发、长上下文、复杂工具调用场景下始终稳定；一个内容安全策略拒答更少，也不一定代表整体风险更低。指标可以帮助决策，但需要与真实场景反馈结合。
在 API 接入和模型网关建设中，更稳妥的做法是将评估拆成多个维度，并定期用线上样本回看。尤其当团队采用 OpenAI、Claude、Gemini 等多模型混合架构时，不能只根据榜单或单次评测决定路由策略，而应结合自身业务目标持续校准。
- 评测指标要多维：同时观察准确性、稳定性、延迟、成本、安全性和用户满意度。
- 避免只看离线分数：离线测试集有价值，但需要结合真实请求日志和人工抽检。
- 关注优化副作用：降低成本可能带来质量下降，提升响应速度可能影响复杂推理效果。
- 保留动态调整机制：模型版本、供应稳定性和业务需求变化后，指标权重也应更新。
从平台建设看：中转与调度也需要“反指标失真”
对 API 批发商、模型调用中介和 Token 中转站而言，古德哈特定律同样适用。平台如果只追求某个表面指标，例如最低单次调用成本或最高请求吞吐，可能会忽略失败重试、上下文截断、模型降级、限流策略等隐性成本。最终，用户看到的账单可能更低，但业务可用性反而下降。
因此，面向开发者的模型接入平台应提供更透明的监控与策略配置能力，包括错误码统计、供应线路状态、不同模型的任务表现对比、并发控制和成本预算提醒。这样，用户才能在真实业务目标和可量化指标之间建立更合理的关系。
总体来看，OpenAI 这篇文章强调的并不是“不要使用指标”，而是提醒业界：当目标复杂且难以直接测量时，指标必须被谨慎设计、持续验证，并避免被当作唯一答案。对于正在接入大模型 API 的团队来说，这意味着模型选型和调用优化不能只看排行榜、价格或单点性能，而要围绕实际业务效果建立一套可迭代的评估体系。