苹果正在研究实时LiDAR表面跟踪以及其他技术来记录触摸感

有传言称，苹果正在开发一种VR或AR头戴式耳机已有相当长的一段时间，各种报告和专利申请都表明它可能会采取多种发展方向。在周二美国专利商标局授予的一对专利中，该系统的另外两种运行方式已经被揭示。

轻型AR对象跟踪

AR头戴式耳机的优点之一是在设置中包含了摄像头。通常用于拍摄场景图像并用于对象识别的相同硬件可用于执行对象跟踪，以查看物品相对于头戴式耳机位置的实时位置变化。

针对AR的对象跟踪的好处通常归结为能够将数字图形覆盖图应用于对象周围的视频源。例如，这可能包括控制器上特定于应用程序的状态指示器，否则该指示器在现实世界的视图中将不可见。

但是，对象识别和对象跟踪所需的资源以及确定方向的资源在系统上可能会非常繁重。在需要大量处理才能提供最佳体验的区域中，欢迎使用任何减少资源使用的方法。

在名为“带有事件摄像机的AV / VR控制器”的专利中，苹果公司提出了这样一种想法，即摄像机系统可能不一定需要始终跟踪与被跟踪对象有关的所有像素，而是可以减少像素数量当只需要粗略检查时，就可以大大降低。

苹果公司建议该系统选择图像中与被跟踪物体有关的特定像素，从而提供光强度和其他属性的读数。如果摄像机或物体移动或改变位置，则这几个像素的光强度将变化超过设置的限制，从而触发整个系统开始使用更多资源来搜索物体的变化方式。

假设系统使用光，则系统可以尝试搜索相同的光点，而不是尝试检测物体，这也是可行的。如果对象上有多个亮点，并且系统仅跟踪这些点，则它可能使用很少的资源来确定位置和方向的变化。

尽管这些光很容易成为物体外壳上环境照明的反射，但苹果似乎正在考虑使用其他物体产生的光源，例如LED指示器或显示图案的显示器。对于后者，只要屏幕可见，这将为系统提供足够的定位和方向数据。

这样的基于光的参考点不一定非要用于可见光，因为Apple建议照明图案可以包含不可见的波长。这将提供一个用户不会看到的不引人注目的系统，并且可能提供一个可以不可见地使用不同光波长的系统，从而允许该系统与多个用户或对象一起工作。

鉴于它可以使用非人类可见光，因此苹果采用另一种已经熟悉的技术也是可行的。在TrueDepth相机和iPhone 12 Pro系列背面使用的LiDAR涉及发射红外光的小点，这些小点反射回成像传感器并用于绘制物体深度。

尽管对象本身不发出自己的光，但是光点反射将有效地处理相同的任务，并具有能够跟踪非电子或生物物品（例如用户的手）的额外好处。

该专利将其发明人列为Peter Meier，并于2019年1月31日提交了专利。

对象属性采样

第二项专利涉及数据收集，特别涉及系统如何获取有关用户触摸内容的信息。

通常，视觉和听觉介质，AR和VR可以从引入的其他元素中受益，从而向用户出售真实的数字对象的幻觉。这样的系统需要知道如何在触摸现实世界的物品时重新创建用户可能会感觉到的感觉，以使其能够通过触觉反馈工具模仿效果。

在名为“带有手指设备的计算机系统来采样对象属性的计算机系统”的专利中，苹果公司建议使用手指佩戴的设备，该设备有两种使用方式。尽管它们可用于向用户提供触觉反馈，但该专利更为重要的要素是它能够检测用户可能接触的真实对象的特征。

每个手指设备中的传感器都能够读取用户触摸的真实对象表面的效果，例如表面轮廓，纹理，对象颜色和图案，声学属性和重量。当与其他元素（如头戴式显示器上的摄像头）结合使用时，该系统将能够收集有关物体的大量数据，然后可以将其提供给用户。

这些传感器可以包括应变仪，超声波传感器，直接接触传感器，温度计，光检测器，测距传感器，加速度计，陀螺仪，教程针和电容传感器等。

当戴在手指的末端时，该专利建议用户仍然能够体验触摸物体的感觉，因为手指垫将保持畅通无阻。传感器可以通过接触延伸超出指尖的突起来检测，或者通过检测用户的手指受到触摸物体的影响方式的变化来进行检测。

然后可以收集有关对象的数据，并将其归档并归档，以备将来系统使用，并有可能作为更广泛的数据库的一部分进行共享。然后，该信息可以与触觉反馈元素一起使用，以模拟对象向用户或其他用户的触摸。

该专利的发明人为Paul X.Wang，于2019年4月22日提交。

先前的发展

Apple每周都会提交许多专利申请，但是专利申请的存在表明Apple的研究和开发工作是人们关注的领域，但它们不能保证这些想法会出现在未来的产品或服务中。

对象识别和跟踪一直是Apple ARKit的重要组成部分，ARKit是面向希望向其应用程序添加AR内容的开发人员的工具包。这已经扩展到跟踪建筑物和其他不动的固定物体，以使数字物品可以漂浮或安装在相机的世界视野中。

ARKit还能够执行运动捕获，这需要一定程度的对象跟踪，并且世界视图中的其他对象也可以遮挡虚拟对象。

手指佩戴的设备以前已经出现在专利申请中，例如2019年的“在手指按下输入事件期间修改手指感觉的系统”。作为该想法的一部分，设备将连接到手指的末端，但使指垫对元件保持打开状态。

为了在基于显示器的键盘上打字时产生触感，该设备在垫将要与显示器接触时会轻轻挤压手指的侧面。挤压将指垫推到更引人注目的位置，从而在手指敲击表面时增加了缓冲。