用于视觉环境重建的人类感知对象放置

人体和周围场景几何的3D重建可以促进人类行为分析。反过来，它可用于预测以人为中心的AI和机器人的未来运动和交互，或为AR/VR合成这些。然而，目前还没有从单色相机的图像中估计场景和人物的方法。

最近发表在arXiv.org上的一篇论文介绍了MOVER(用于视觉环境重建的人类运动驱动对象放置)。它利用跨多个人与场景交互(HSI)帧的信息来估计合理的3D场景和与场景交互的移动人体。

结果表明，从单目视频计算得出的累积HSI可用于改进场景的3D重建和3D人体姿态估计。与最先进的比较表明，MOVER可以估计更准确和逼真的3D场景布局。

人类在穿越世界并与之互动时，会不断地与世界接触。这种联系是了解3D人类、3D场景以及它们之间的交互的重要信息来源。事实上，我们证明可以利用这些人景交互(HSI)来改进单目RGB视频中场景的3D重建。我们的关键思想是，当一个人在场景中移动并与之交互时，我们会在多个输入图像中累积HSI，并优化3D场景以重建一致、物理上合理且功能强大的3D场景布局。我们基于优化的方法利用了三种类型的HSI约束：(1)在场景中移动的人被遮挡或遮挡对象，因此，定义了对象的深度排序，(2)人在自由空间中移动，不与物体相互穿透;(3)人与物体接触时，接触面在空间中占据相同的位置。在所有观察结果的优化公式中使用这些约束，我们显着改进了3D场景布局重建。此外，我们表明我们的场景重建可用于改进初始3D人体姿势和形状(HPS)估计。我们使用PROX和PiGraphs数据集定性和定量地评估3D场景布局重建和HPS估计。代码和数据可用于研究目的我们显着改进了3D场景布局重建。此外，我们表明我们的场景重建可用于改进初始3D人体姿势和形状(HPS)估计。我们使用PROX和PiGraphs数据集定性和定量地评估3D场景布局重建和HPS估计。代码和数据可用于研究目的我们显着改进了3D场景布局重建。此外，我们表明我们的场景重建可用于改进初始3D人体姿势和形状(HPS)估计。我们使用PROX和PiGraphs数据集定性和定量地评估3D场景布局重建和HPS估计。代码和数据可用于研究目的这个https网址。