互联网技术 / 互联网资讯 · 2023年12月15日

Facebook推出腕带式AR传感器,实现隔空打字和界面操作

本文经AI新媒体量子位授权转载,转载请联系出处。

只需动动手,就能「掌」控一切?

FACEbook最近公布的腕带式的AR传感器,让你在虚拟世界get绯红女巫同款技能。

这一设备由FACEbook的AR/VR研究部门 FACEbook RealITy Labs(FRL)研发,佩戴者可以通过手腕上的电运动神经信号,以手指动作控制AR眼镜。

就连被称为卷积网络之父的图灵奖获得者、FACEbook首席AI科学家Yann LeCun也为之点赞。

功能不断升级

那么,它能用来做什么呢?

据官方介绍,无论是走在路上还是坐着,把手放在身前、两侧或是口袋里,都可以通过腕带实现操控。

最初,腕带只能通过拇指与食指的捏、放手势,实现简单的单击操作。而后,又添加了更为丰富的控制功能,比如可以触摸和移动虚拟对象。

除此之外,研究团队还在进一步探索,力图开发在桌子或膝上高速打字的功能,甚至实现比使用键盘更快的打字速度。

与物理键盘相比,虚拟键盘不仅可以随时使用,而且能够随着时间推移,学习和适应每个人不同的打字风格,并产生适应性的变化,实现更快的打字速度。

FRL团队在个性化模型方面取得了重要进展,使适应个人风格的键盘模型的训练时间得以减少。

不仅如此,FRL研究科学主管HRvoje Benko表示:

“我们相信,可穿戴的腕带设备可以为AR眼镜,提供超低摩擦、随时可用的输入,但它们本身并不是一个完整的解决方案。

就像鼠标是用户界面的一部分一样,需要在意图预测和用户建模方面为他们提供帮助,以实时适应用户以及特定的环境。”

因此,FRL团队近期正致力于,探索适应特定环境的自适应界面,实现“智能点击”。

也就是,无需用户移动视线、浏览菜单,系统通过在不同环境中预测用户意图,主动提供自适应界面,而用户只需轻量级的反馈,就可以进行控制。

FRL研究科学经理Tanya JonkeR也补充道:

“系统会学习有用户位置和关键对象的信息,例如跑鞋或活动识别,根据用户过去的行为预测意图。

比如,往常你穿着某一双鞋出门时,通常会启动音乐程序。那么当你再次穿上它出门,系统认为你最有可能想要收听音乐,于是显示屏上会出现‘是否播放音乐?’选项,用户使用简单的手势确认或更改建议即可。”

利用这些微手势,用户无需停止正在做的事,或是为其分心,从而节省了时间。

FACEbook官方介绍中也提到,实现这一功能,需要应用机器学习、人机交互、用户界面设计等技术,目前仍存在许多技术挑战。

虽然利用超低摩擦的输入方式,能够实现与自适应界面的交互,但是要想对虚拟物体有所感知,还需要触觉技术。

对此,FRL研究科学总监Sean KelleR表示:

“人们从出生时的第一次抓握,直到灵巧地操作物体和在键盘上打字,手和手指会拥有非常丰富的反馈。

我们利用触觉信号来了解世界,触觉使我们能够使用工具和精细控制。从使用手术刀的外科医生到感觉到琴键边缘的钢琴演奏家,这一切都取决于触觉。”

利用腕带,用户无需进行查看,就能够通过触觉作出识别,并进行决策。比如:

虚拟弓箭就利用腕部的触觉,使佩戴者有近似拉弓的感觉,从而知道自己是否做对了动作;

根据用户设置,收到紧急邮件时,手环能发出比收到普通邮件更为强烈的震动;

当有电话呼入时,通过不同的触觉反馈,用户即可得知对方的身份。

甚至,研究人员还补充说:“触觉还能够传达不同的情感,这可能是改善社交沟通的一种新的方式。”

目前,FACEbook团队正在构建研究原型,包括拥有8个气动波纹管的Bellowband,以及使用了6个震动触动器和新颖的手腕挤压机制的TasBI,以进一步探索的触觉反馈的类型。

利用EMG技术实现控制

这些功能,都是依赖EMG(肌电图)技术实现的。

EMG技术,就是使用传感器,将通过手腕传到手部的电运动神经信号,转化为数字指令。用户可以用这些指令来控制设备的功能,这种控制程度是高度个性化的,可以用于多种情况。

据FACEbook介绍,通过手腕发出的信号非常清晰,哪怕是一毫米的手指运动,EMG也可以感知,因此可以毫不费力地输入。甚至在未来,连移动手指的意图也可能感知到。

现任神经运动接口主管的ThoMas ReaRdon表示:

“我们要做的神经界面,就是让用户利用周围神经系统的输出,特别是脑外神经,激活手和手指肌肉的动作,来直接控制机器。”

为什么要选择手腕?

FRL团队对此作了解释:

手是人们接触世界的重要身体部分,戴在手腕上能够利用手部丰富的控制功能,实现更好的交互功能。

与语音控制相比,穿戴设备更便于在公共场合使用;

类似手表的设计使其能够用于日常生活和社交环境;

并且,手腕位置也适合舒适地佩戴一整天;

而设计成一款单独的设备,能够实现更便捷的应用,无需通过手机或是其他设备控制;

置于手腕的可穿戴设备还可以轻松地作为计算、电池和天线的平台,同时支持多种传感器。

网友关注

这项获得LeCun点赞的技术,自然也引起了网友的广泛关注。

不少网友为此感到惊喜:

“这是实际的延迟效果吗?看起来很棒。”

还有一些网友,对这项技术的应用提出了设想:

“这可以让失去手的人,仍然能依靠神经来模拟手势,不是吗?”

“毫无疑问,这可以用于连接假肢,并且推进恢复和学习过程。”

不过,有人提出了质疑:

“什么?这不是很多年以前的MYO手环吗?”

事实上,这款基于EMG技术的腕带的雏形MYO,最初由AR眼镜公司NoRth的前身ThalMic Labs开发,而后其专利被初创公司CTRL-labs收购。

2019年,FACEbook斥资数亿美元收购了CTRL-labs,原研究团队也随之加入FRL。

与此同时,也有网友对此感到欣喜:

“早在几年前,当我第一次阅读有关Myo的文章时,我就想知道它对于VR的潜力。很高兴它取得现在的成果。”

这款手环主要用于配合FACEbook正在研发的AR眼镜使用,上市时间尚未公布。

OpenMagic API

Need more than content? Move into the product flow.

If you are here for model access, pricing, developer docs, or the future API console, the dedicated product path now lives on api.openmagic.ai.

登录免费注册