AI 资讯 · 2026年11月6日

Box 引入英伟达 Nemotron 构建智能体内容检索系统,称 Token 用量减少90%

据 TechCrunch 于2026年11月5日发布的报道,Box 正采用英伟达 Nemotron,构建一套以智能体为核心的内容检索系统。来源摘要称,该系统回答查询的速度可达到原来的四倍,错误减少20%,Token 使用量减少90%。这些表现目前应视为报道所述的系统效果,而非适用于所有业务的性能保证;所给来源信息没有披露测试任务、对比基线及具体实现方式。

从检索内容转向服务智能体任务

这次消息的重点,不只是 Box 选择了哪一款模型,而是内容检索系统开始围绕智能体的使用方式设计。对开发者而言,检索环节的价值不仅在于找到材料,还在于能否给后续模型调用提供足够准确、精简且可用的信息。无效上下文越多,通常越容易增加输入负担,并挤占模型处理真正相关内容的空间。

不过,仅凭来源标题与摘要,尚不能判断 Nemotron 在系统中承担哪些具体职责,也无法确认性能变化分别来自模型、检索流程还是其他工程优化。因此,不宜将报道中的全部收益直接归因于某个单独模型,更不能据此推断 Box 已开放相应的公共 API 或接入方案。

影响解读:Token 减少不等于账单同比下降

对模型 API 使用者来说,三项指标中最值得关注的是Token 使用量减少90%。它提示了一种值得评估的优化方向:在调用大模型之前,先改善信息筛选和上下文组织,而不是只寻找更低的每 Token 单价。对于需要反复检索企业内容的智能体应用,这类优化可能同时影响响应速度、上下文占用和调用成本。

但 Token 用量与最终费用并非简单对应。报道摘要没有说明统计范围是单次查询、某个处理阶段还是完整任务,也没有给出模型价格、辅助服务费用及失败重试成本。因此,不能把90%的 Token 降幅直接写成90%的 API 成本降幅。同样,“错误减少20%”也不代表准确率提高20个百分点,仍需了解错误的定义与原始水平。

  • 速度:核对“四倍”是否指完整请求耗时,是否包含检索、模型推理及其他处理步骤。
  • 质量:使用自身业务问题验证答案正确性、内容覆盖情况与回答依据,而非只看汇总指标。
  • 成本:同时记录输入输出 Token、检索资源消耗、额外调用与重试费用。
  • 接入:确认接口、权限、额度和并发限制,不应将产品报道等同于已经可用的开发者能力。

API 选型应看完整任务效率

对通过官方 API 或中转服务构建应用的团队,这则消息提供的是架构层面的参考,而不是立即更换调用渠道的理由。即便模型单价不变,更有效的检索也可能减少送入模型的无关文本;反过来,即便 Token 消耗下降,新增处理环节也可能影响总延迟和维护成本。

现阶段,Box 与 Nemotron 的结合说明企业内容检索正在进一步面向智能体需求演进,但具体收益仍需结合实际工作负载验证。开发者更适合将每个成功任务的总成本与稳定性作为评估标准,在相同问题集和权限条件下比较速度、质量及消耗,避免把单项指标直接推广到自身 API 业务。

OpenMagic API

Need more than content? Move into the product flow.

If you are here for model access, pricing, developer docs, or the future API console, the dedicated product path now lives on api.openmagic.ai.

登录免费注册