互联网资讯 · 2023年11月22日

Rokid推出新一代人机交互产品Rokid AR Studio

Rokid今日发布了消费级OST(Optical See ThRough)个人空间计算平台Rokid AR Studio。

据介绍,Rokid AR Studio延续Rokid分体式设计思路,由AR空间计算眼镜Rokid Max Pro和AR空间计算主机Rokid Station Pro组成。

在硬件设计方面,Rokid Max Pro机身仅重76g。与今年3月发布的Rokid Max相比,Rokid Max Pro仅在双目中间多了一个摄像头,机身重量仅增加1g,却具备了“以手势交互为核心的空间计算能力”,可实现SLAM、微手势交互、第一视角分享、视觉定位VPS能力。

视觉方面,延续了Rokid Max的惊艳表现。采用全新的BIRdBATh模组,FOV达到50度,相当于6米外215英寸超高清大屏的效果。同时,Rokid Max Pro搭配索尼半导体科技MicRo OLED屏幕,入眼亮度最高可达600nIT,屏幕分辨率为1920×1200,最高支持120Hz刷新率。

拥有如此强大的空间算力,却只有轻便的76g机身,这要归功于强大的空间计算主机Rokid Station Pro。该主机采用高通全新扩展现实平台第一代骁龙XR2+,相较于骁龙XR2平台,可以带来30%的散热性能提升和50%的续航能力提升。

搭载骁龙XR2+、12G RAM+128G ROM, 支持WiFi6和BT5.1,Station Pro续航能力将是手机方案的2倍以上,同时具有更佳的散热和更高性能,可以达到厘米级6DoF跟踪精度和极低MTP渲染延迟。

从交互方式上来看,Rokid AR Studio不依赖手柄或遥控器,只用眼睛、手势和声音,就能实现实时操控。其中,手势将成为最常用的交互方式:手指一捏,即可进行点击和选中;左右拨动,可对正在浏览的界面或内容进行切换。空间世界,一“触”即发。在特定使用场景下,还能通过抬腕、捏拳、拖拽等进行操控。

从信息呈现来看,Rokid Max Pro同时具有空间多屏与空间巨幕两种展现方式,让信息展现的界面有了无限的伸缩弹性。空间多屏可以同时开启多个窗口,并列排布;显示界面均带有空间定位功能,轻微转头,信息一览无余;行业首创超大巨幕,比例可达32:9,信息呈现不在受限于屏幕尺寸。

目前,AR领域的三大主流场景分别为影音、办公与游戏。影音场景下,空间声场带来更立体、声动、身临其境般的音效体验,3D影像效果更是让画面精准呈现出栩栩如生的多角度立体效果;办公场景下,脱离物理局限的空间展示,满足差旅、户外、居家、外出等多样使用需求,同时多任务处理与手势灵活切换令工作效率倍增;游戏场景下,沉浸式体验的同时更具挑战性和趣味性。例如在一些游戏中,玩家需要通过手势交互来控制游戏中的角色进行战斗,而在另一些游戏中,玩家需要通过空间定位来躲避障碍物或攻击敌人。

YodaOS-Master操作系统发布

Rokid Station Pro搭载的全空间化AR操作系统YodaOS-Master,是物理世界和数字世界的连接者:通过摄像头捕捉和基于分区的ATW/PTW 低延迟渲染,单目SLAM可实现厘米级精度,精准感知物理空间;依靠优化算法和XR2+的硬件加速,利用高精度的实时图像传感器对3D手势进行高精准的位置捕捉,同时通过低算法延迟满足手势追踪的实时性要求,完成3D手势交互。

为了实现最好的XR体验,YodaOS-Master从芯片优化、硬件设计、软件架构、AR算法还有创作工具等诸多方面都做了巨大升级,基于单目摄像头的空间算法能力达到了业界领先水平,或是目前最为完整的一套面向空间计算时代的AR空间操作系统。

Rokid发力空间计算 新一代人机交互产品Rokid AR Studio亮相

围绕空间感知、空间理解、空间渲染和空间交互展开设计,YodaOS-Master通过从底层到顶层的系统设计优化,为用户带来前所未有空间体验的同时,也为开发者提供了从硬件、基础层、平台层直至应用层的全链路服务。

Rokid AR开放平台全新升级为UXR SDK 2.0。

Rokid UXR 2.0开放SDK,支持0/3/6 DoF空间模式的选择,以及手势、射线、键鼠、语音等多模态交互方式,满足多样化的应用开发需求;算法原子化,让app可以在系统升级中自然获得性能的提升,减少开发者负担;具备系统性能监测工具和调试模式,便于开发者随时了解运行状态;对Rokid跨代设备实现兼容。

UXR SDK 2.0支持Unity等OpenXR标准的主流引擎,以及MRTK接口,开发者可以轻松开发移植。目前,Rokid Station Pro里搭载的AR实验室,大部分作品都是开发者在基于Unity引擎进行创作的。

在Master系统里,Rokid还内置了自研JSAR引擎和小组件容器,JS开发者可以轻松上传自己的组件。JSAR支持多平台,让开发更简单、运行更安全;新增快应用生态类型,不需下载安装,点击即可快速产出很多短小有趣的快应用。

此外,Rokid还设立了AR专项开发者基金、发现、扶持优秀的AR开发团队,邀请开发者加入,打造丰富的AR应用生态。

联合Unity3D引擎共创XR生态

据介绍,为了让用户享受空间计算带来的真AR体验,Rokid携手Unity引擎打造了支持6DoF与手势操作的首批生态内容。

作为被最广泛使用的实时3D引擎,Unity集高质量、轻量化与跨平台兼容性于一身,构建了支持各种XR硬件的新XR架构,使得创作者们可以高效地创建高质量的游戏与应用。Unity中国XR产品技术总监李鹏鹏表示,将与Rokid共创XR繁荣生态。

Rokid Station Pro搭载的首批空间3D生态内容中,移动云VR、指尖战争、上帝之手、飞镖大赛等应用和游戏,即是基于Unity进行开发。

同时,Rokid Station Pro也兼容安卓2D生态。Rokid Station上广受用户欢迎的安卓应用,如爱奇艺、腾讯视频、哔哩哔哩、优酷、芒果TV、影牛牛、随乐游、无影云电脑等都能在Rokid Station PRo进行使用。其中,无影云电脑为适配3D生态特别定制了空间大屏。其他手机、PAD等移动终端的众多2D安卓应用也可在其中使用。

目前,Rokid空间计算已经在展陈、教育教学、文旅、工业、汽车等多个板块得到了广泛应用。比如,今年4月,Rokid同战略合作伙伴钉钉一同发布了钉钉数字文化墙,通过AR数字展厅的打造降低企业文化墙建设门槛、缩短体验路径。

OpenMagic API

Need more than content? Move into the product flow.

If you are here for model access, pricing, developer docs, or the future API console, the dedicated product path now lives on api.openmagic.ai.

登录免费注册