Facebook公开有关为其Oculus虚拟现实耳机提供动力的AI

对于虚拟现实耳机，透视是关键。当用户移动视线或四处移动时，头戴式受话器需要在他们眼前重新对准场景，以适应新的视角。过渡还必须以闪电般的速度进行，以避免破坏幻想。

由于有了一个名为Oculus Insight的系统，Facebook Inc.得以在其Oculus VR设备系列中实现了所有这些工作，并在 今天进行了详细公开。Insight使用人工智能来帮助Facebook的耳机实时跟踪佩戴者的位置和头部方向。

首先，一些背景。Facebook今年推出了两款VR头戴设备：第一款被称为Oculus Rift S，必须与计算机捆绑在一起，第二款是Oculus Quest，可以无线工作。该公司为这两种产品都提供了一对手持控制器，供穿戴者使用以与虚拟对象进行交互。

Oculus Insight依靠控制器和头戴式耳机中的传感器来跟踪用户的位置。核心数据由所谓的惯性测量单元提供，这些惯性测量单元收集有关设备线性加速度及其旋转速度的信息。

洞察力可以使用这些读数粗略了解用户的位置和头角，但仅靠这些信息是不够的。这是因为惯性测量单位容易出现微小的误差，如果不加以检查，会导致主要数据误差的增加。Insight采用了两种不同的方法来消除测量误差，一种用于用户的VR头戴式耳机，另一种用于手中的控制器。

为了跟踪耳机，系统利用了Oculus Rift S和Oculus Quest内置的摄像头。Insight将用户环境的静态功能用作位置指示器，以平衡惯性测量单位数据中的误差。

“来自耳机中相机的图像数据有助于生成房间的3D地图，精确定位地标，例如家具的角落或地板上的图案。Facebook的研究员Joel Hesch，Anna Kozminksi和Oskar Linde在博客文章中解释道：“反复观察这些标志性建筑可以使Insight补偿漂移。”

第二种纠错方法有助于跟踪控制器在用户手中的位置。控制器外部的二极管会发出人眼看不见的红外光，但可由Oculus头戴式耳机拾取，从而确定手持式配件的相对位置。

Oculus Insight每毫秒刷新一次位置测量值，以提供平稳的过渡。另外，Facebook的工程师在系统中内置了一个预测引擎，该引擎可以预测用户的头和手在几毫秒内的位置，从而使内置的AI算法可以进一步优化性能。

Oculus Insight的创新成果可能不仅对VR头戴设备具有更大的价值。系统所基于的核心位置跟踪技术，同时定位和地图绘制(SLAM)也用于包括自动驾驶在内的其他领域。

Facebook的Joel Hesch，Anna Kozminksi和Oskar Linde写道：“这项工作可能对研究SLAM的研究人员以及任何受益于低资源，高精度房间映射的系统产生广泛影响，例如数字助理和物理机器人。 。他们补充说，该技术将来可能有助于制造“具有空间感知能力的全天可穿戴AR眼镜”。