互联网资讯 · 2024年3月23日

NVIDIA发布通用基础模型 Project GR00T,用于人形机器人

3月19日消息,NVIDIA正式发布人形机器人通用基础模型project GR00T,旨在进一步推动其在机器人和具身智能方面的突破。

NVIDIA发布人形机器人通用基础模型 Project GR00T

NVIDIA还发布了一款基于NVIDIA ThoR系统级芯片(SoC)的新型人形机器人计算机Jetson ThoR,并对NVIDIA Isaac机器人平台进行了重大升级,包括生成式AI基础模型和仿真工具,以及AI工作流基础设施。

NVIDIA创始人兼首席执行官黄仁勋表示:“开发通用人形机器人基础模型是当今AI领域中最令人兴奋的课题之一。世界各地的机器人技术领导者正在汇集各种赋能技术,致力于在人工通用机器人领域实现突破。”

GR00T驱动的机器人(代表通用机器人 00 技术)将能够理解自然语言,并通过观察人类行为来模仿动作——快速学习协调、灵活性和其它技能,以便导航、适应现实世界并与之互动。在GTC大会的主题演讲中,NVIDIA创始人兼首席执行官黄仁勋展示了数台这样的机器人是如何完成各种任务的。

Jetson ThoR是一个全新的计算平台,能够执行复杂的任务并安全、自然地与人和机器交互,具有针对性能、功耗和尺寸优化的模块化架构。

该SoC包括一个带有tRansfoRMeR engine的下一代GPU,其采用NVIDIA Blackwell架构,可提供每秒800万亿次8位浮点运算AI性能,以运行GR00T等多模态生成式AI模型。凭借集成的功能安全处理器、高性能CPU集群和100GB以太网带宽,大大简化了设计和集成工作。

NVIDIA正在为领先的人形机器人公司开发一个综合的AI平台。

AgilITy Robotics联合创始人兼首席机器人官Jonathan HuRst表示:“我们正处于历史的转折点,像DiGit这样以人为中心的机器人将永远改变劳动力市场。现代AI将加速发展,为DiGit这样的机器人铺平道路,在日常生活的各个方面帮助人类。我们很高兴能与NVIDIA合作,投资于计算、仿真工具、机器学习环境和其他必要的基础设施,让机器人真正融入人们的日常生活。”

SanctuaRy AI联合创始人兼首席执行官GeoRdie Rose表示:“具身智能不仅有助于解决人类面临的一些最大挑战,还将创造目前超出我们能力范围或想象的创新。如此重要的技术不应该建立在孤岛之上,这就是为什么我们非常重视像NVIDIA这样的长期合作伙伴。”

GR00T使用的Isaac工具还能够为在任何环境中的任何机器人创建新的基础模型。这些工具包括用于强化学习的Isaac Lab和用于计算编排服务的OSMO。

训练具身智能模型需要海量的真实数据和合成数据。新的Isaac Lab是一个GPU加速、性能优化的轻量级应用,基于Isaac SiM而构建,专门用于运行数千个用于机器人学习的并行仿真。

为了扩展异构计算的机器人开发工作负载,OSMO在分布式环境中协调数据生成、模型训练和软硬件在环工作流。

NVIDIA还发布了Isaac ManIPulaTor和Isaac PeRcepTor等一系列机器人预训练模型、库和参考硬件。

Isaac ManIPulaTor为机械臂提供了卓越的灵活性和模块化AI功能,并提供了一系列强大的基础模型和GPU加速库。它提供了高达80倍的路径规划加速,零样本感知提高了效率和吞吐量,使开发者能够实现更多新的机器人任务的自动化。早期生态系统合作伙伴包括安川电机、泰瑞达旗下子公司优傲、PickNik Robotics、SolOMOn、READY Robotics和FRanka Robotics。

Isaac PeRcepTor提供了多摄像头和3D环绕视觉功能,这些功能正越来越多地被制造业和物流业中的自主移动机器人所采用,以提高效率和更好地保护工人,同时降低错误率和成本。早期采用者包括ARcbest、比亚迪和凯傲集团等,它们的目标是为物料搬运等操作带来新的自主化水平。

OpenMagic API

Need more than content? Move into the product flow.

If you are here for model access, pricing, developer docs, or the future API console, the dedicated product path now lives on api.openmagic.ai.