人工智能 · 2024年1月24日 0

FACEBOOK实现神经渲染,推动AR穿戴技术迈向新境界

Facebook Reality Labs(FRL)致力于构建一个现实世界和虚拟世界能够自由混合,同时提升我们日常生活体验,增加效率和加强彼此之间联结的未来。续航是迈向所述愿景的挑战之一。为了能够实现能够长时间(包括一整天)舒适穿戴的虚拟现实头显和增强现实眼镜,我们必须优化设备的功耗。作为朝构建下一阶段AR/VR系统的一步,这家实验室正努力开发不影响图像质量的情况下显著降低功耗的图形系统。

DeepFovea是FRL为应对这一挑战而开发的数种基于神经网络的方法之一。DeepFovea这个渲染系统利用了最近发明的生成对抗网络(Generative Adversarial Network;GAN)人工智能概念来模拟人类在日常生活中的外围视觉,利用这种感知匹配架构来提供前所未有的图形效率。在测试中,DeepFovea可以将渲染所需的计算资源量减少多达10-14倍,而人眼依然无法注意到任何图像差异。DeepFovea的神经渲染远远超出了目前Oculus产品中的传统注视点渲染系统,能够生成感知上与全分辨率图像别无二致的图像,而需要渲染的像素不到10%。现有的注视点渲染方法需要渲染全分辨率图像一半的像素,所以DeepFovea在渲染需求的数量级进步代表了感知渲染的一个全新里程碑。

FRL最初在2019年11月的SIGGRAPH Asia展示了DeepFovea,而今天,团队公开了关于DeepFovea存储库的完整演示,从而帮助图形研究社区深化对先进感知渲染的探索。

FACEBOOK实现神经渲染,推动AR穿戴技术迈向新境界

FRL的最终目标是将实时注视点渲染带给能够全天候穿戴的轻便高能效AR/VR设备。DeepFovea演示了其能够渲染比传统渲染器少10%的像素,同时没有出现感知质量损失。这为感知渲染的效率设定一个全新的标准,并标志着朝着前述目标迈出了重要的一步。这种方法不取决于硬件,亦即DeepFovea能够兼容各种AR/VR研究系统。

尽管DeepFovea为AR和VR中的高效绘图提供了一种重要的方法,但这只是超低功耗感知探索的开始。除了研究论文之外,FRL同时发布了DeepFovea演示内容。团队表示,希望这能给志在为感知与神经渲染技术的进步做出贡献的图形与视觉科学研究人员提供一个有用的框架。