遇到 OpenAI API rate limit,直接增加重试次数可能让队列更长,也让预算更难预测。对于通过 API 中转或模型网关接入的业务,应先区分请求速率、Token 吞吐、账户额度与中转侧并发限制,再决定限流、降载还是调整采购配置。解决限流的目标不是发出更多请求,而是在预算内完成有效请求。
先定位 429:速率限制不等于余额不足
收到 429 时,应结合响应正文、错误类型和可用的响应头判断原因,不能只按 HTTP 状态码处理。请求频率过高、Token 吞吐超限,以及额度或计费相关异常,可能需要不同的处理路径;具体错误表达以实际接口返回为准。
- 请求速率受限:检查短时间内请求数量,避免定时任务集中启动。
- Token 吞吐受限:检查长上下文、大批量输入与较高输出上限。
- 额度或余额异常:核对项目预算、计费状态及中转账户余额,暂停无效重试。
- 中转侧限制:确认套餐并发、共享资源池和上游模型限制是否分别生效。
建议记录模型、时间、请求标识、错误类型、输入输出 Token、重试次数与排队时长。日志默认脱敏,不保存密钥或不必要的用户原文,便于在不扩大数据暴露面的前提下定位瓶颈。
用队列和退避解决限流,避免重试风暴
限流器应同时考虑请求数、Token 量和在途并发。仅限制并发不能保证每分钟吞吐合规:短请求结束得快,仍可能形成高频流量;长请求则可能持续占用连接。可在入口使用队列平滑突发,并按任务优先级分配处理能力。
对于可重试的临时限流,采用带随机抖动的指数退避;若返回了 Retry-After 等有效提示,可据此安排等待。必须设置最大尝试次数、累计等待上限和任务截止时间。失败请求也可能占用速率配额,不能假定重试没有资源成本。
同时检查 SDK、业务服务和网关是否各自开启重试,避免多层叠加。涉及写入数据库、发送通知等副作用时,还应做业务去重;流式输出中断后的重新生成,不应直接拼接为同一次完整答案。
把 Token 消耗纳入预算,而不是只盯单价
成本估算应按具体模型、输入输出用量及实际计费规则计算;缓存等优惠仅在明确支持且满足条件时计入。超时或客户端断开不代表上游未处理,也不代表一定不计费。核对账单时,应关联本地请求记录、中转用量明细与可获取的上游记录。
优化顺序可以从压缩重复上下文开始,再为不同任务设置合理输出上限,将简单分类与复杂推理分流。输出限制过低会造成截断和补问,应结合完成率评估。为每个业务设置日预算、单任务成本阈值与告警;超过阈值时选择排队、降级或暂停,而非无限重试。
选择 API 中转方案前,核对哪些成本与限制
在 openmagic.ai 相关接入评估中,可将采购问题落到可核验条款:额度如何计量、并发如何定义、失败请求如何结算、是否提供用量查询,以及余额不足时如何返回错误。不要把增加密钥数量当作必然扩容,限制可能在项目、账户或共享上游层面生效。
上线前使用接近真实输入长度的流量做阶梯压测,观察成功率、尾部延迟、排队时间和每个成功任务的总成本。中转层能帮助统一鉴权、路由和观测,但不能天然消除上游限流。以实测结果安排容量余量,才能兼顾成本与稳定性。
