
近日,美国密歇根大学一支科研团队宣布,成功开发出名为HandProxy的创新交互系统。该系统可让用户通过语音指令,在虚拟现实(VR)与增强现实(AR)环境中灵活操控虚拟手,不仅能完成抓取物体、调整窗口等基础操作,还具备理解复合指令的能力,为VR/AR技术的实用化突破提供了新路径。
据科研团队介绍,HandProxy系统的核心创新在于重构了VR/AR传统交互逻辑。以往,用户需依赖手柄或手势追踪设备操作,不仅受限于操作空间,还需双手配合完成动作,在特定场景下存在明显局限性。而HandProxy系统彻底改变这一模式——用户只需通过自然语言下达指令,例如“抓取桌面左侧的蓝色文件,并将其拖入右上角的文件夹”,系统便能快速解析指令,驱动虚拟手连贯执行整套动作,无需分步操作,大幅提升交互效率。
更值得关注的是,该系统具备极强的兼容性与场景适配性。一方面,HandProxy可直接接入市面上大多数现有VR程序,无需开发者进行额外适配开发,极大降低了技术落地的门槛,用户能在熟悉的应用环境中快速启用该功能;另一方面,系统精准覆盖“双手无法直接操作”的三类核心场景:在空间受限的办公隔间、交通工具内,用户无需挥舞手柄即可操作;医护人员操作医疗设备、工人手持工具维修时,可双手专注本职工作,通过语音操控VR/AR设备查看数据或获取指导;对于存在手部运动障碍的用户,该系统更打破了肢体控制的限制,仅靠语音就能流畅使用VR/AR设备,体现出技术的人文关怀。
“HandProxy的研发初衷,是让VR/AR技术摆脱‘小众体验’的标签,真正走向更广泛的实用场景。”科研团队负责人在接受采访时表示,此前VR/AR技术多集中于游戏、娱乐领域,而HandProxy系统在医疗、工业、远程办公等专业领域的应用潜力,有望推动其从“娱乐工具”向“生产力工具”转型。例如在医疗场景中,医生可通过语音操控VR设备查看患者三维影像,同时双手进行手术准备;在工业维修场景,工人可借助AR界面获取设备图纸,通过语音指令调整图纸角度、标记故障点,无需暂停手中维修工作。








