美国专利商标局正式披露了苹果的一项专利申请，该申请聚焦于光标控制与移动技术领域，旨在通过空中手势操作，赋能未来智能眼镜、Vision Pro以及Mac触控板等设备的交互体验。
苹果在专利申请文件中明确指出，当前市面上部分三维环境交互方法与界面存在显著缺陷。其一，某些系统并不支持利用光标与虚拟对象进行交互，这使得用户在执行文本编辑、绘图等需要高精度操作的任务时，过程繁琐且效率低下。其二，即便存在支持光标与虚拟对象交互的系统，也往往因设计复杂、操作繁琐，极易引发用户误操作，不仅加重了用户的认知负荷，还严重影响了虚拟/增强现实环境的沉浸感与使用体验。此外，这类传统交互方式耗时冗长，导致计算机系统能耗增加，尤其对于依赖电池供电的设备而言，电量损耗问题更为突出。
鉴于此，研发一种更为先进的计算机系统迫在眉睫。该系统需实现利用光标与虚拟对象进行高效交互，从而让用户与三维环境的互动更加便捷直观。新的交互方法与界面可作为传统三维环境交互方式的补充或替代方案，通过优化用户输入与设备响应之间的关联反馈机制，减少用户输入的数量、范围与复杂程度，进而打造出更为高效的人机交互界面。
在不同的应用场景下，该计算机系统具备多样的实现形式。在部分实施例中，它可以是配备相关显示器的台式计算机；在另一些实施例中，也能够是便携式设备，或是头戴式显示器、智能眼镜等穿戴设备。
从硬件配置角度来看，在部分实施例中，计算机系统搭载有一个或多个手部追踪组件，用于精准捕捉用户手部动作。同时，除显示生成组件外，系统还配备了一个或多个输出设备，其中包括触觉输出生成器，能够为用户带来真实的触感反馈；以及音频输出设备，提供全方位的音频体验。
在交互方式上，用户可通过多种途径与图形用户界面（GUI）进行互动。例如，使用触笔或手指在触敏表面上进行接触与手势操作；通过摄像机和其他运动传感器捕捉用户的眼睛和手部在空间中相对于GUI或用户身体的移动轨迹；或者借助一个或多个音频输入设备，实现语音指令输入。
而通过这些交互方式，系统可实现丰富多样的功能，涵盖图像编辑、绘图设计、演示汇报、文字处理、电子表格制作、游戏娱乐、语音通话、视频会议、电子邮件收发、即时通讯、运动健身辅助、数码摄影摄像、网页浏览、数字音乐播放、笔记记录等多个领域。
以苹果专利图7A为例，它生动展示了基于手部运动检测实现光标控制的具体应用场景。图中设备#700被设定为一台台式计算机，配备显示器#706，该显示器与一个或多个图像传感器/摄像头相连，能够敏锐捕捉用户的空中手势动作；此外，还可通过大型触控板#708实现交互操作。
