接入 OpenAI、Claude、Gemini 等模型时,请求变慢、排队或返回 429,不一定是余额不足,也可能触发了 API 中转并发限制。对按 Token 结算的业务来说,增加并发会加快预算消耗,却不保证吞吐同比增长。选购中转额度或调整网关配置前,应先明确限制口径,再设置成本护栏。
并发限制与 Token 配额有什么区别?
并发通常指同一时刻正在处理的请求数量;RPM 是每分钟请求数,TPM 是每分钟 Token 数,余额则决定还能支付多少调用费用。这些约束可能同时存在,并按账号、密钥、模型或上游通道分别生效。并发额度不等于 Token 额度,也不等于可持续吞吐。
例如,短文本请求结束较快,相同并发下能完成更多任务;长上下文或长输出请求占用连接更久,也可能更快触及 TPM。流式返回只是逐步传输结果,不代表首个片段返回后就释放并发,具体应以网关的计数机制为准。
如何估算并发与预算的关系?
可先用“目标每秒请求数 × 平均请求耗时”估算在途请求数量,再通过压测校准。平均值只能辅助规划,还要观察高峰流量和 P95 延迟,避免长请求拖住全部工作槽位。测试应固定模型、输入长度和输出上限,逐步增加并发,记录成功率、耗时与实际用量。
费用可按“输入 Token × 输入单价+输出 Token × 输出单价”估算;若涉及缓存或其他计费项,应按实际账单补充。不要把最大输出上限直接当作实际消耗,但预算预警可采用偏保守估算。提高并发前,先确认单位时间的费用增速是否可接受。
用四层控制避免重试放大成本
- 入口限流:按用户或业务设置并发上限,避免单一任务占满共享资源。
- 有界排队:设置队列容量和等待超时,过期任务及时取消,不无限堆积。
- 预算护栏:按日或按项目统计消耗,配置预警,并在达到阈值时执行预设降级或暂停策略。
- 有限重试:仅对适合重试的错误使用指数退避与随机抖动,限制次数和总时长。
对于 429,应结合响应正文、错误码和可用的响应头区分请求频率、Token 速率或其他限额问题。超时也不必然意味着上游未执行,盲目重发可能产生重复工作,是否计费需核对用量记录。SDK、业务服务与网关若同时重试,还可能形成流量放大。
购买中转服务前要确认哪些指标?
评估 API 中转并发额度时,应询问限制适用于哪个维度、流式请求如何计数、不同模型是否共享资源,以及错误日志和用量明细能否查询。批量离线任务适合削峰排队,在线对话则应优先控制等待时间,避免只追求高并发数字。
在 openmagic.ai 规划接入时,可先整理模型、目标吞吐、输入输出长度和预算,再核对对应配置与计费说明。以可观测的成功率、延迟和实际费用验收,比单看标称并发更能判断方案是否适合业务。
