苹果正在开发用于动态“ Apple Glass”音频和AR图像融合的软件

诸如经常被谣传的Apple Glass智能眼镜，增强现实或虚拟现实耳机之类的物品必须依靠为用户提供令人信服的视觉效果和足够的音频来完全浸入。然而，这两个因素都提出了自己的独特问题，即生产头戴式显示器的公司必须征服它们。

耳机音频

对于音频，AR和智能眼镜的音频需求与VR的音频需求之间存在巨大差异。尽管前者可能想要有限的音频并且仍然能够听到环境的其余部分，但VR的使用通常依赖于屏蔽外部声音，而仅留下虚拟世界的音频。

当前的头戴式耳机如果需要用户提供自己的头戴式耳机，则可以实现此目的，但是具有内置音频系统的头戴式耳机通常无法提供用户所需的灵活性。

苹果公司在周二获得美国专利商标局的一项名为“具有多模式音频的显示设备”的专利中，描述了带有音频组件的头戴式视觉系统，该组件可以在头戴式耳机的支撑结构上的位置之间移动。

苹果公司提出，音频系统可以在听觉外模式和听觉内模式之间进行切换。在听觉外模式下，可移动耳机系统的扬声器被握住并在距离耳朵不远的地方使用，而在听觉内模式下，扬声器可以置于耳道内。在非听觉下，该系统将使外部声音更清晰地听到，而第二种版本将在阻止用户听到环境声音方面做得更多。

在两种模式之间切换时，Apple建议在每个耳机中使用一个驱动程序，这可以更改其通过不同端口投射声音方式以匹配两个不同位置。这包括根据低音扬声器是否靠近耳朵，甚至是可能改变声音运动的可切换物理元素，来调整低音扬声器的功率电平。

声音生成模块将在枢轴上使用短臂，该点距枢轴最远，该枢轴包含用于放置在耳朵中的元件。根据其旋转方式，本机可以通过一种方法将音频输入到耳朵中，或者将另一种方法用于耳外声音，并自动进行更改。

苹果公司建议，除了旋转之外，音频元件还可以朝耳朵和远离耳朵倾斜以便于放置，并且可以包括伸缩部分。

该文件最初于2019年4月11日提交，列出了其发明者为Robert D.Silfvast，James W.VanDyle，Jeremy C.Franklin，Neal D.Evans和Christopher T.Eubank。

融合视野

在第二项专利中，Apple尝试通过结合现实相机数据和实时为用户执行的数字化版本，解决AR头戴设备如何在现实世界的视频源上呈现虚拟对象的问题。由于这需要准确，快速地执行，因此此类过程可能需要大量的计算资源才能达到较高的标准。

苹果公司在名为“用于合并真实和虚拟图像的方法和设备”的专利中，提出了一种系统可以使用尽可能少的资源来计算混合虚拟图像的方法。

对于该系统，该专利提到了相机供稿如何为“实际像素”创建一系列值，该值具有“虚拟像素”形式的虚拟对应物。每个像素都有自己的像素值，用于执行计算以确定应该使用哪个最终像素值并显示给用户。

可以将两个像素值组合为一个值，该值可以基于真实像素值和虚拟像素值之间的加权平均值。苹果公司认为，权重可以部分基于真实或虚拟像素的alpha或透明度值来确定。

确定真实像素的alpha值可以通过以下方式来创建：对完整的相机图像进行下采样，基于相机图像创建模板，并基于下采样图像和模板生成消光参数矩阵。可以对该抠图参数图像进行升采样，进而可以为像素值创建alpha。

此alpha值还可用于创建特定像素的颜色分量像素值，从而可以混合单个颜色而不是整个像素值本身。

通过使用该技术，可以认为将图像传输到显示器所需的带宽量可能小于仅由相机生成的数据的十分之一。