采购 AI API reseller 服务,不能只比较每百万 Token 的报价。对通过中转接口接入 OpenAI、Claude、Gemini 等模型的团队,真实成本还受到上下文长度、输出规模、失败重试和并发限制影响。评估 openmagic.ai 或其他中转服务时,应把价格核算、用量治理与故障处理放在同一张验收表中,而不是将账户余额当作唯一控制手段。
Token 批发成本:先统一统计口径
一次请求的费用可能包含输入、输出,以及按模型规则计费的缓存或其他项目,具体以供应方账单说明为准。历史对话、系统提示词和工具结果也可能进入输入,不能只按用户最后一句话估算。不同模型的分词与计费规则存在差异,跨模型比较时应使用相同业务样本。
有效成本应按成功业务结果计算。建议记录每次请求的模型、用量、耗时、状态码和请求标识,再计算“总费用÷成功完成的任务数”。如果低价通道产生更多超时、重复调用或人工补单,实际成本可能更高。
- 输入侧:裁剪无关历史,限制检索片段数量,避免重复注入长文档。
- 输出侧:设置合理输出上限,简单分类任务不要求长篇解释。
- 模型侧:按任务难度分层路由,用业务样本验证质量后再替换模型。
- 采购侧:确认计价单位、余额扣减口径,以及缓存、失败请求和重试的收费说明。
预算控制:余额告警之外还要有硬限制
预算可拆成项目、环境、API Key 和时间窗口四个维度。生产与测试分开管理,避免压测消耗生产额度;为单个项目配置日限额、月限额与异常增长告警。告警不等于限额:需要确认服务端是否支持拒绝超预算请求,若不支持,应在自有网关补充控制。
调用前可按“预计输入用量×输入单价+输出上限×输出单价”预估单次支出;涉及其他计费项时单独加入。调用后再按实际用量对账。并发场景下,多笔请求可能同时扣费,因此不能仅查询一次余额就无限放行,可采用预算预占、结算释放和队列限流。
稳定性验收:看成功率,也看重试成本
中转 API 的稳定性需要结合成功率、尾部延迟和错误分布判断。429 可能与速率、并发或额度有关,应读取具体错误体;5xx、网络超时也需要区分发生在中转层还是上游。重试必须有次数与总时长上限,配合指数退避和随机抖动,避免故障期间放大流量。
对于已发送但未收到结果的请求,不应假定未执行或未计费;流式输出中断后直接重发,也可能产生额外消耗。业务侧应保存任务状态,结合供应方支持的去重或查询机制处理。模型切换则应先验证接口参数、工具调用与输出格式是否兼容,不能把“兼容 SDK”等同于能力完全一致。
采购前要求哪些证据?
向服务方确认模型映射、限流维度、计费明细、余额查询方式、日志留存和故障反馈流程,并用代表性请求测试正常、突发及失败场景。将任务成功成本、延迟分布与账单差异作为验收指标,再决定采购规模。可核对的账单与可执行的预算边界,比单一低价承诺更值得关注。
