您当前位置: 93913首页 > 新闻中心 > 技术速递 > Facebook Reality Labs展示手动跟踪文本输入系统“PinchType”

Facebook Reality Labs展示手动跟踪文本输入系统“PinchType”

2020-04-28 来源:93913 作者:威廉

摘要:近日,Facebook Reality Labs的研究人员演示了一种新颖的文本输入方法,该方法可以实现无需手柄的手动跟踪,使用户可以通过捏拿的手势来选择字母进行文本输入。
近日,Facebook Reality Labs的研究人员演示了一种新颖的文本输入方法,该方法可以实现无需手柄的手动跟踪,使用户可以通过捏拿的手势来选择字母进行文本输入。
目前,在VR/AR头显中进行文本输入仍然是一项艰巨的任务。这是因为当用户戴上VR头显后是看不到键盘的,虽然对于盲打高手来说,这或许并不是问题,但对于大多数人来说,打字将会变得异常困难。即使是用户戴着AR头显在可以看到键盘的情况下打字,也不可避免要花费大量时间。
除了文本输入法,语音输入也是目前流行的输入方式,但这种方式也存在几大问题。首先,其智能语言判断机制还不够完善,以及容易暴露隐私——对方不仅要听你说的语音内容,而且还要听清楚和听明白。其次,与打字相比,语音输入在某种程度上是一种不同的思维方式,其输入效率不能与打字相比。
此外,虚拟键盘也是文本输入的另一种选择,你可以通过手指点击虚拟键盘来进行文本输入,但虚拟键盘的打字速度太慢,无法完成繁重的书写任务并且缺乏敲打键盘时产生的物理反馈。
以上主流的几大文本输入方式或多或少都存在着一些弊端。为此,Facebook Reality Labs的研究人员创建了一个手动跟踪文本输入原型,该原型专为VR/AR头显而设计,而无需使用传统键盘。
该手动跟踪文本输入法让用户无需触摸键盘上的按键,按键组则映射到用户的每根手指上。同时用户在输入时不是选择一个特定字母,而是使用与包含所需键入的颜色编码组相对应的手指进行按压。当用户进行按压输入时,系统会根据用户输入的上下文来预测用户想要输入的单词,研究员称该系统为“PinchType”。
PinchType系统可以解决虚拟键盘和语音输入的诸多问题,其输入无声、隐私性高,比通过虚拟键盘进行页面搜索的速度还要快,同时该系统还支持触摸物理反馈。
以下是研究人员分享的在测试PinchType系统时发现的一些情况:
在一项有14名参与体验用户参与的初步研究中,我们调查了PinchType在体验用户初次使用时的速度和准确性,以及它相对于虚拟键盘所带来物理反馈舒适性。在输入了40个短语后,大多数体验用户表示,使用PinchType比使用虚拟键盘更舒适。大多数体验用户的平均输入速度达到了每分钟12.54个单词,或每分钟20.07个单词,与其他依靠手指输入的虚拟文本输入方法相比,PinchType的优势明显。
不过,PinchType也存在一些缺点,该系统太依赖于精准的手部跟踪,通过头显摄像头的角度来看,手指被手背遮挡是比较普遍的现象,那么就会造成用户文本输入发生问题。根据下图显示,从该角度上看,如果用户使用小指或无名指进行敲击,是无法键入字母的。
由此我们猜测,PinchType原型很可能是根据带有外部摄像头的高端手动跟踪技术进行开发的。值得注意的是,PinchType原型是Facebook Reality Labs研究人员Jacqui Fashimpaur、Kenrick Kin和Matt Longest共同研究的成果,该研究团队为此还著作了一篇技术论文——《采用舒适的指尖捏取法实现在VR/AR环境中的文本输入》。

【93913原创内容,转载请注明及回链】
长按指纹识别二维码关注93913虚拟现实

相关阅读