局部场景中对象定位的空间常识图

未观察到的物体的定位是一项对许多自动化应用很有用的任务，例如帮助视力受损的人寻找日常物品或视觉搜索具身代理。人类不仅使用部分观察到的环境，而且依靠常识知识来执行这项任务。例如，知道枕头经常靠近床，我们可以推断枕头的下落。

arXiv.org最近的一篇论文提出了空间常识图(SCG)，这是一种新的场景图表示。它具有异构节点和边缘，将常识知识与对象的空间邻近性嵌入在一起。

为了解决定位问题，提出了SCGObjectLocaliser。首先，估计看不见的物体和所有已知物体之间的距离。然后，它们用于基于圆形交叉点的定位。

我们解决了部分场景中的对象定位问题，这是一个在给定场景的部分3D扫描的情况下估计对象的未知位置(例如包在哪里?)的新问题。所提出的解决方案基于一种新颖的场景图模型，即空间常识图(SCG)，其中对象是节点，边定义了它们之间的成对距离，并通过常识知识库中的概念节点和关系进行了丰富。这使得SCG能够更好地概括其对未知3D场景的空间推断。SCG用于通过两个步骤估计目标对象的未知位置：首先，我们将SCG输入一个新颖的ProximityPredictionNetwork，这是一种使用注意力来执行表示目标对象的节点与目标对象之间的距离预测的图神经网络。表示SCG中观察到的对象的节点;第二，我们提出了一个基于圆形相交的定位模块，以使用所有预测的成对距离来估计对象位置，以便独立于任何参考系统。我们创建了一个部分重建场景的新数据集，以对我们的方法和部分场景中目标定位的基线进行基准测试，其中我们提出的方法实现了最佳定位性能。