近日，美国专利商标局公布了苹果公司的一项专利申请，涉及检测提供镜面映像的表面、修改映像、或提供描绘此类表面和映像内容的系统、方法和设备。更具体地说，苹果公司的专利描述了佩戴HMD的用户如何将现实世界中手持的iPhone变为游戏中的装备，如光剑。专利中还提供了其他例子，或许苹果开发者会更欣赏这项专利。
据苹果公司称，本发明的各种实施方案包括检测镜子、玻璃、液体和其他表面以及这些表面映像的设备、系统和方法。一些实施方案涉及检测用户或用户设备在表面的映像，并提供虚拟内容，在提供给用户的内容中增强或取代映像的外观。
例如，一个环境的视图可以被修改，以包括用户的映像，但不包括用户持有或佩戴的电子设备。
在另一个例子中，环境可以被修改，以使虚拟内容，如较新版本的电子设备或虚拟光剑，取代映像中的电子设备。
在另一个例子中，环境可以被修改，以便虚拟内容，如一个虚拟化身，在映像中取代用户。
该方法可进一步涉及识别替换内容，以替换用户或电子设备的映像的至少一部分。在一些实施方案中，替换内容包括用户身体的部分（例如，一只手、一只胳膊等）或背景内容，这些内容在手持移动设备被删除、增强或以其他方式修改时将是可见的。
在一些实施方案中，替换内容包括用户身体的部分（例如，手臂、衣服等）或背景内容，这些内容在腕上安装的设备被擦除、增强或以其他方式修改时将是可见的。
在一些实施方案中，替换内容包括用户头部的部分（如脸颊、眼睛、眉毛、头发等）或在头戴式设备（HMD）被擦除、增强或以其他方式修改时将会看到的背景内容。
在苹果的专利图4和图5中，我们看到苹果将如何让用户在现实世界中持有的设备转变为另一个设备，就像CGR环境中的光剑。在图5中，虽然在现实世界中用户戴着HMD，但在CGR环境中，HMD被替换成没有佩戴HMD的用户的脸。
用户的表情是由位于头显内的摄像头捕捉的。苹果公司进一步指出，例如由传感器（如摄像头）捕捉的眉毛、嘴巴、下巴和眼睛的表情可用于模拟用户虚拟化身上的表情。
苹果公司的专利图6说明了HMD设备#120检测提供镜面映像的表面并提供CGR环境的系统流程。HMD设备使用一个或多个环境传感器#610（例如，一个或多个摄像头）来捕捉、创建或提供物理环境#100的视图#130。
在专利的其他部分，苹果公司指出，用户可以查看和以其他方式体验基于CGR的用户界面，允许用户选择、放置、移动和以其他方式体验并与CGR环境互动，例如，通过手势、语音命令、输入设备输入等。
最后，苹果公司指出，基于投影的系统可以采用视网膜投影技术，将图形图像投影到人的视网膜上。投影系统也可以被配置为将虚拟物体投射到物理环境中，例如，作为全息图或投射在物理表面上。
想要了解更多专利细节，请查看苹果的专利申请20230131109。
来源：patentlyapple
