新系统结合了智能手机视频以创建4D可视化

卡内基梅隆大学的研究人员证明，他们可以结合使用分开的摄像机在“野外”拍摄的iPhone视频来创建4D可视化效果，使观看者可以从各个角度观看动作，甚至可以擦除暂时遮挡视线的人或物体。

想象一下一个婚礼招待会的可视化，可以从与摄像机一样多的角度看到舞者，而走在新娘聚会前的醉汉无处不在。

博士Aayush Bansal表示，可以在婚礼或生日庆典上独立于各个有利位置拍摄视频。CMU机器人学院的学生。他补充说，还可以将演员录制在一个场景中，然后将其插入到另一个场景中。

班萨尔说：“我们仅受摄像机数量的限制，对可以使用多少个视频源没有上限。

Bansal和他的同事在上个月的计算机视觉和模式识别虚拟会议上介绍了他们的4-D可视化方法。

“虚拟现实”并不是什么新鲜事物，但是在过去，它仅限于工作室设置，例如CMU的Panoptic Studio，该工作室在其大地测量墙壁中嵌入了500多个摄像机。将不可能将多个独立手持摄像机拍摄的真实场景的视觉信息融合到一个可以重建动态3D场景的单一综合模型中。

Bansal和他的同事通过使用卷积神经网络(CNN)解决了这一局限，CNN是一种深度学习程序，已被证明擅长分析视觉数据。他们发现可以使用场景特定的CNN来组成场景的不同部分。

CMU的研究人员在匹兹堡国家鸟舍展示了使用多达15部iPhone捕捉各种场景的方法，这些场景包括舞蹈，武术表演甚至火烈鸟。

班萨尔说：“使用iPhone的目的是表明任何人都可以使用该系统。” “世界就是我们的工作室。”

该方法还释放了电影行业和消费类设备中的大量潜在应用程序，特别是随着虚拟现实头戴式耳机的普及持续增长。

尽管该方法不一定能捕获完整的3D细节的场景，但是系统可以限制播放角度，因此不完整的重建区域不可见，并且3D图像的幻觉也不会破碎。