2022 年 6 月 23 日，OpenAI 发布了关于 Video PreTraining（VPT）的研究进展：研究团队训练了一个神经网络，让它通过大量未标注的人类 Minecraft 游戏视频学习操作方式，同时只使用少量由承包人员提供的带标签数据。来源显示，在进一步微调后，该模型能够学会制作钻石工具；这类任务通常需要熟练玩家花费 20 分钟以上、完成约 24,000 个动作。更值得注意的是，模型并不是调用游戏内部 API，而是使用人类原生交互方式——键盘按键和鼠标移动。这使其被视为迈向通用计算机使用智能体的一步。
VPT 的核心：用未标注视频降低行为学习门槛
传统强化学习往往需要环境反馈、奖励设计和大量交互试错；而 Minecraft 这类开放世界游戏，目标复杂、操作空间大，单靠手工设计奖励很难覆盖真实玩家的策略。VPT 的思路是先让模型从海量人类游戏视频中学习“看到画面后应该如何操作”，再借助少量带有动作标签的数据建立画面与键鼠输入之间的对应关系。
这一路线的关键在于：互联网上存在大量视频内容，但绝大多数没有精确标注每一帧对应的鼠标移动、按键和游戏状态。VPT 通过先训练一个能够推断人类操作的模型，再把这种能力迁移到更大规模的未标注视频中，从而把“视频资源”转化为可用于训练智能体的行为数据。对于开发者来说，这提示了一种重要方向：未来智能体训练不一定完全依赖结构化日志或人工编写脚本，公开视频、录屏和操作轨迹都可能成为训练材料。
为什么 Minecraft 是一个重要测试场景
Minecraft 的挑战不只是视觉识别，而是长期规划与连续动作执行。制作钻石工具需要采集资源、合成材料、使用工具、探索环境等一系列步骤，且中间环节可能因地形、资源分布和玩家状态而变化。来源摘要提到，这一任务通常需要熟练人类超过 20 分钟和约 24,000 个动作，说明模型需要维持较长时间的目标一致性。
从 AI 产品和 API 使用者角度看，Minecraft 更像是一个“可控但复杂”的计算机操作沙盒。模型使用键盘和鼠标，而不是游戏专用接口，意味着它学习的是接近人类的通用操作方式。若这类方法继续发展，未来在浏览器、办公软件、开发工具、数据后台等场景中，AI 可能不只生成文本或代码，还能通过屏幕理解和输入控制完成多步骤任务。
对 API 与智能体生态的影响
VPT 研究本身并不是一个面向开发者的商业 API 发布，但它反映了模型能力演进的方向：从“语言理解与生成”扩展到“观察界面并采取行动”。这对模型调用中介、API 集成商和开发团队都有现实参考价值。
- 多模态输入会更重要：未来智能体可能需要同时处理屏幕画面、文本指令、操作历史和环境反馈。
- 动作输出不再局限于文本：API 形态可能从返回自然语言，扩展为返回点击、拖拽、按键、坐标或工具调用计划。
- 长程任务成本值得关注：类似制作钻石工具的任务需要大量步骤，实际部署时会带来推理时长、上下文管理和稳定性挑战。
- 安全与权限控制会成为基础设施：当模型能操作软件界面时，调用方必须限制可执行动作、记录轨迹并设置回滚机制。
开发者应如何理解这类进展
对于使用 OpenAI、Claude、Gemini 等模型 API 的团队而言，VPT 的意义不在于马上替代现有文本接口，而在于提示智能体架构的下一阶段：模型需要把感知、决策和动作连接起来。今天的很多应用仍以对话、摘要、代码生成、检索增强为主；而面向未来的系统，可能需要在 API 网关、中转层和业务服务之间加入任务编排、状态跟踪、动作审计与失败重试。
从成本角度看，越是长链路的智能体任务，越依赖稳定的模型调用、并发控制和预算管理。若一个任务需要持续观察与多轮动作，开发者不仅要比较模型单次调用价格，还要评估总调用次数、上下文长度、超时策略和异常恢复。对 API 批发与中转服务来说，这类趋势意味着客户将更关注稳定性、额度弹性、低延迟和可观测性，而不只是单模型价格。
总体来看，OpenAI 的 VPT 工作展示了通过人类视频学习复杂操作的可能性。它把 Minecraft 从游戏实验变成了通用智能体研究的样板：模型如果能在高维视觉环境中模仿人类、完成长程目标，那么未来也可能在真实软件环境中承担更多自动化工作。对开发者而言，现在就应开始关注多模态 API、智能体安全边界与调用成本结构，为下一代“会看屏幕、会操作工具”的应用做准备。