AI 资讯 · 2026年7月9日

OpenAI 发布 gpt-realtime:Realtime API 增加 MCP、图像输入与 SIP 电话能力

据 OpenAI 2025 年 8 月 28 日发布的信息,其推出了更先进的语音到语音模型 gpt-realtime,并同步更新 Realtime API 能力。此次更新的重点包括:支持 MCP server、支持图像输入,以及加入 SIP 电话呼叫支持。对于正在构建语音助手、客服机器人、电话坐席、实时互动应用的开发者而言,这意味着 OpenAI 的实时多模态接口正在从“语音对话”进一步扩展到“可接工具、可看图、可接电话”的应用层基础设施。

从本站关注的 API 接入与模型调用角度看,这次更新并不是单一模型名称变化,而是 Realtime API 的可用场景被明显拓宽。开发者过去如果要实现电话接入、工具调用、图像理解与语音交互,通常需要把多套系统拼接在一起;而新能力释放后,相关链路有机会通过更统一的实时接口完成,降低工程整合复杂度。

gpt-realtime 的核心变化:语音到语音能力继续前移

来源显示,OpenAI 将 gpt-realtime 定位为更先进的 speech-to-speech 模型。语音到语音模型的关键价值在于,它不只是把语音转成文本再生成回答,而是围绕实时语音交互进行优化,适合更自然、更低中断感的对话体验。

对开发者来说,实时性、上下文保持、语音交互稳定性通常比单次文本生成更难处理。尤其是在客服、销售外呼、陪练、教育、车载、硬件终端等场景,用户不会像聊天框那样等待完整回复,而是会打断、追问、切换话题。Realtime API 的更新,正是面向这类连续交互场景继续补齐能力。

新增 MCP、图像输入与 SIP:从模型接口走向业务系统入口

此次更新中,MCP server support 值得关注。MCP 作为连接模型与外部工具、数据源、业务系统的一类协议机制,可以帮助模型在对话过程中调用外部能力。对于企业应用而言,这意味着实时语音助手不再只是“回答问题”,还可能在授权范围内查询订单、检索知识库、触发流程或对接内部服务。

图像输入则让 Realtime API 的实时交互不局限于声音。开发者可以围绕“边看边说”的产品形态设计体验,例如用户上传或展示图片后,通过语音继续追问、说明问题、让模型结合视觉内容作出回应。这对售后诊断、远程协助、教学讲解、设备巡检等场景都有想象空间。

SIP 电话呼叫支持则更贴近传统通信基础设施。SIP 是企业电话、呼叫中心和 VoIP 系统中常见的接入方式。OpenAI 将这一能力纳入 Realtime API,意味着开发者在构建 AI 电话坐席或语音代理时,可能更容易与现有电话系统打通,而不是完全依赖自建音频流转发链路。

  • MCP server support:有利于实时语音应用连接外部工具和业务系统。
  • Image input:让语音交互扩展到多模态理解,适合看图讲解、诊断和辅助场景。
  • SIP phone calling support:降低 AI 电话、呼叫中心、语音坐席接入传统通信系统的门槛。

对 API 使用者的影响:成本、并发与链路稳定性更重要

能力变多之后,开发者需要关注的不只是“能不能调用”,还包括并发控制、音频链路稳定性、会话时长、重试策略、鉴权、安全边界和成本测算。实时语音不同于普通文本 API,请求往往持续时间更长,对网络抖动更敏感,也更容易在高并发场景下放大成本与稳定性问题。

对于通过 API 中转或统一网关接入多模型的团队而言,这类更新也会带来新的适配需求:网关是否支持实时连接、是否能处理音频流、是否能透传多模态输入、是否能与 MCP 工具链和 SIP 链路共存,都会影响最终落地效果。企业在选型时,除了关注模型效果,也应评估额度管理、调用日志、失败回退、区域网络质量与账户风控等工程指标。

本站解读:实时多模态 API 正成为新一代应用入口

从趋势看,OpenAI 此次发布 gpt-realtime 并更新 Realtime API,说明实时交互正在从演示型能力进入更可工程化的阶段。语音、图像、工具调用、电话系统被放在同一类实时接口下,会推动更多应用从“文本聊天机器人”升级为“可听、可说、可看、可办事”的智能代理。

不过,来源摘要并未给出具体价格、额度、性能指标或区域可用性细节,因此开发者在正式上线前仍应以官方文档和控制台实际配置为准。对 API 使用者来说,短期最值得验证的是:gpt-realtime 在真实业务话术中的稳定性、Realtime API 在长连接下的表现、SIP 接入的兼容性,以及 MCP 工具调用在权限和审计上的可控性。

OpenMagic API

Need more than content? Move into the product flow.

If you are here for model access, pricing, developer docs, or the future API console, the dedicated product path now lives on api.openmagic.ai.

登录免费注册