据来源显示,OpenAI 于 2025 年 9 月 5 日发布题为《Why language models hallucinate》的研究解读,重点说明语言模型为何会生成看似自信但并不可靠的内容,以及改进评测方式如何提升 AI 的可靠性、诚实度与安全性。对开发者和 API 使用者而言,这一议题并不只是模型研究问题,也直接关系到线上产品的答案可信度、风控策略、调用成本和用户体验。
所谓“幻觉”,通常指模型在缺乏充分依据时仍然给出错误事实、虚构细节或不恰当推断。来源摘要显示,OpenAI 的新研究将注意力放在评估机制上:如果评测更偏向奖励“给出答案”,而不是奖励“知道何时不确定”,模型就可能在面对模糊、无答案或信息不足的问题时继续猜测。换言之,模型幻觉不只是训练数据或模型规模的问题,也与外部如何衡量模型表现密切相关。
研究核心:让模型“会答”之外,也要“会拒答”
在实际应用中,许多评测集更关注最终答案是否命中,而较少区分模型是基于可靠证据作答,还是通过概率猜测碰巧答对。来源所述研究强调,改进评估可以推动模型在不确定时更诚实地表达限制。这对企业接入大模型 API 尤其重要,因为很多业务场景并不允许模型“编一个看起来合理的答案”。
例如,客服知识库、合规问答、医疗健康咨询、财税辅助、代码修复等场景中,错误答案的代价往往高于“不知道”。如果评测体系能够更好地奖励谨慎、引用依据和不确定性表达,模型供应商与应用开发者就更容易围绕可靠性优化,而不是单纯追求回答流畅度。
- 对终端用户:更明确的“不确定”提示有助于降低误信错误信息的风险。
- 对开发者:需要在提示词、检索增强、工具调用和后处理环节加入可信度控制。
- 对 API 平台:模型路由不应只看速度和价格,也应关注不同模型在特定任务上的可靠性。
- 对企业采购:评估模型时应增加拒答率、可验证性、事实一致性等指标。
对 API 使用者的影响:可靠性将成为成本之外的新指标
过去不少团队选型时,主要比较模型价格、上下文长度、响应速度、并发额度和可用性。OpenAI 这项研究再次提醒开发者:模型是否能在不确定时保持诚实,同样会影响实际成本。因为幻觉会带来人工复核、投诉处理、回滚修正、二次调用和安全审计等隐性支出。
从 API 接入角度看,降低幻觉不能只依赖“换更强模型”。更稳妥的做法是建立多层防线:在输入侧限定问题范围,在检索侧提供可验证资料,在模型侧要求说明依据,在输出侧做规则校验或二次评估。对于高风险业务,还可以将通用模型与专用知识库、工具函数、人工审核结合使用,避免模型凭空补全关键事实。
这也会影响中转与模型调用服务的产品设计。对于提供 OpenAI、Claude、Gemini 等多模型接入的 API 中介平台来说,未来不只是提供统一接口、额度管理和并发调度,还需要帮助用户识别不同模型在事实问答、代码生成、摘要改写、工具调用等任务中的可靠性差异。“更便宜的调用”与“更可信的输出”需要同时被纳入选型。
开发建议:把“幻觉治理”前移到架构设计
开发者在构建大模型应用时,可以把 OpenAI 研究所指向的评测思路转化为内部标准。首先,不要只用少量示例测试模型是否答得顺畅,而要设计包含无答案、信息不足、容易混淆的问题集;其次,记录模型是否承认不确定,而不是只统计回答命中率;再次,在上线后持续抽样监控错误类型,区分事实错误、推理错误、引用错误和越权回答。
对于通过 API 批量调用模型的团队,还应在成本预算中预留可靠性措施,例如检索增强、缓存、结果复核和备用模型路由。来源显示,改进评估有助于提升 AI 可靠性、诚实度和安全性;落到业务侧,就是要用更贴近真实场景的测试来约束模型行为,而不是把所有希望寄托在单次生成上。
总体来看,OpenAI 这篇研究解读释放的信号是:大模型行业正在从“能回答多少”转向“何时该回答、何时该保留”。对 API 使用者来说,下一阶段的竞争力不仅来自更低调用成本和更高并发,也来自对模型不确定性的管理能力。
