智能手机视频可产生高度逼真的3D面部重建

通常，它需要昂贵的设备和专业知识才能对某人的脸进行逼真的3D重建，并且看上去并不令人毛骨悚然。现在，卡内基梅隆大学的研究人员已经使用普通智能手机上录制的视频完成了这项壮举。

使用智能手机拍摄脸部正面和侧面的连续视频会生成密集的数据云。一个两步过程由CMU的机器人研究所开发利用这些数据，从一些帮助深学习算法，构建面的数字重建。该小组的实验表明，他们的方法可以达到亚毫米级的精度，优于其他基于相机的过程。

数字人脸可用于构建用于游戏或虚拟或增强现实的化身，也可用于动画，生物特征识别甚至医疗程序。面部的精确3D渲染在构建定制的手术口罩或呼吸器时也可能会有用。

机器人研究所副研究员西蒙·卢西(Simon Lucey)表示：“构建3D面部重建技术一直是计算机视觉和图形学中的一个开放问题，因为人们对面部特征的外观非常敏感。” 重建中即使有微小的异常也会使最终结果看起来不切实际。

激光扫描仪，结构光和多相机工作室设置可以产生高度精确的面部扫描，但是这些专用传感器对于大多数应用而言价格昂贵。但是，CMU的新开发方法仅需要智能手机。

该方法由Lucey与硕士生Shubham Agrawal和Anuj Pahuja开发，于3月初在科罗拉多州斯诺马斯举行的IEEE冬季计算机视觉应用会议(WACV)上提出。首先拍摄15-20秒的视频。在这种情况下，研究人员在慢动作设置中使用了iPhoneX。

通常，需要昂贵的设备和专业知识才能对某人的脸部进行精确的3D重建。现在，卡内基梅隆大学的研究人员已经使用普通智能手机上录制的视频完成了这项壮举。由CMU机器人学院开发的两步过程在深度学习算法的帮助下，从视频中收集数据，以构建人脸的数字重建。图片来源：卡内基梅隆大学

Lucey说：“高帧速慢动作是我们方法的关键之一，因为它会生成密集的点云。”

然后，研究人员采用了一种常用的技术，称为视觉同时定位和制图(SLAM)。Visual SLAM对曲面上的点进行三角剖分以计算其形状，同时使用该信息来确定相机的位置。这将创建人脸的初始几何形状，但是缺少的数据会在模型中留下空白。