2019 年 12 月 5 日，OpenAI 发布题为“Deep double descent”的研究内容。来源显示，研究者在 CNN、ResNet 与 Transformer 等深度学习架构中观察到一种被称为双降（double descent）的现象：随着模型规模、数据规模或训练时间增加，模型性能并不总是线性改善，而是可能先变好、再变差，随后又再次变好。OpenAI 表示，这类表现通常可以通过谨慎的正则化手段来避免或缓解，但其成因尚未被充分理解，仍是值得继续研究的重要方向。
对开发者和 API 使用者而言，这一研究提醒我们：在选择大模型、规划训练或评估推理服务时，不能简单把“更大”“训练更久”“数据更多”直接等同于“效果一定更稳定”。尤其在通过 API 调用模型时，表面上的参数规模或模型代际并不是唯一指标，稳定性、任务匹配度、评测方式和服务侧优化同样关键。
什么是“深度双降”：性能曲线可能出现反复
传统直觉通常认为，模型容量增加到一定程度后，如果过拟合加剧，泛化性能会下降；而在深度学习实践中，许多大模型又显示出继续增大规模后性能重新提升的趋势。OpenAI 在该研究中强调，这种“先改善、再变差、再改善”的曲线，不只出现在某一类模型上，而是在 CNN、ResNet、Transformer 中都能观察到。
来源摘要还提到，双降现象不仅与模型大小相关，也可能随着数据规模或训练时间变化而出现。这意味着问题并非单纯由参数量决定，而是与训练过程、数据分布、优化方法以及正则化策略等因素共同相关。
- 模型规模增加时，性能可能经历改善、恶化、再改善的阶段；
- 数据规模变化也可能触发类似的非单调表现；
- 训练时间拉长并不必然带来持续收益；
- 适当正则化通常有助于避开或缓解该现象；
- 其普遍性较强，但理论解释仍不充分。
对 API 调用与模型选型的影响
从本站关注的 API 中转、额度、并发与成本视角看，“深度双降”最直接的启发是：模型服务的效果评估需要更细。企业或开发者在接入 OpenAI、Claude、Gemini 等模型 API 时，往往会优先比较模型名称、上下文长度、价格和速度，但真实业务效果还取决于任务类型、提示词设计、样本覆盖与评测集质量。
如果一个团队正在做私有数据微调、领域模型训练或长期评测，也应避免只观察单次训练结果。来源显示，训练时间本身也可能影响双降曲线，因此在不同 checkpoint、不同数据量和不同正则化配置下进行比较，更有助于判断模型是否真正稳定。对于仅使用托管 API 的团队，虽然无法直接控制底层训练，但仍可以通过灰度测试、A/B 评测、错误样本回放等方式，识别“看起来更强的模型”在特定任务上是否出现退化。
成本与稳定性：不要只追求更大模型
在 API 采购和调用架构中，成本通常与模型级别、输入输出长度、并发需求有关。双降研究提示，更高成本的模型不一定在所有阶段、所有任务上都带来单调收益。对于客服、代码生成、内容审核、知识库问答等场景，可以采用分层路由：简单请求走低成本模型，复杂请求再升级到更强模型，并用日志持续评估命中率和失败率。
同时，正则化在研究中被提及为常见的规避手段。映射到 API 使用层面，可以理解为对输入、输出和评测流程进行约束：例如规范提示词模板、限制不必要的长上下文、建立明确的答案格式、对高风险输出增加校验。这些工程化约束不能替代模型训练中的正则化，但有助于提升线上调用的一致性。
结语：双降仍是开放问题，但已影响工程决策
OpenAI 在来源中表示，尽管双降现象似乎相当普遍，但目前仍未完全理解其原因。对模型研究者来说，这是一条重要理论线索；对开发者、API 批量调用方和中转服务使用者来说，它则是一项实践提醒：评估模型时要看曲线、看场景、看长期稳定性，而不是只看单点指标。随着模型生态继续扩展，围绕额度、并发、成本和效果的综合评测，将比单纯追逐“大模型”更具实际价值。