新方法允许机器人视觉识别被遮挡的物体

当人工智能系统遇到物体不完全可见的场景时，它们必须仅根据物体的可见部分进行估计。这种部分信息会导致检测错误，并且需要大量的训练数据才能正确识别此类场景。现在，光州科学技术研究所的研究人员开发了一个框架，可以让机器人视觉成功地检测到这些物体，就像我们感知它们一样

机器人视觉已经取得了长足的进步，在复杂和苛刻的任务中的应用达到了一定程度，例如自动驾驶和物体操纵。但是，它仍然难以识别杂乱场景中的单个对象，其中一些对象部分或完全隐藏在其他对象后面。通常，在处理此类场景时，机器人视觉系统被训练为仅基于其可见部分来识别被遮挡对象。但是这样的训练需要大量的对象数据集，并且可能非常乏味。

副教授 Kyoobin Lee 和博士 来自韩国光州科技学院 (GIST) 的学生 Seunghyeok Back 在开发人工智能系统以识别和分类杂乱场景中的物体时发现自己面临着这个问题。“我们希望机器人能够识别和操作他们以前没有遇到过或经过训练无法识别的物体。然而，实际上，我们需要手动收集和标记数据，因为深度神经网络的泛化性在很大程度上取决于质量和训练数据集的数量，”Back 先生说。

在 2022 年 IEEE 国际机器人与自动化会议上接受的一项新研究中，由 Lee 教授和 Back 先生领导的研究团队开发了一种名为“unseen object amodal instance segmentation”(UOAIS)的模型，用于检测杂乱场景中的遮挡对象。为了训练模型识别物体几何形状，他们开发了一个数据库，其中包含 45,000 张包含深度信息的逼真合成图像。有了这个(有限的)训练数据，模型就能够检测到各种被遮挡的物体。在遇到杂乱的场景时，它首先挑选出感兴趣的对象，然后通过将对象分割成“可见蒙版”和“模态蒙版”来确定该对象是否被遮挡。

研究人员对结果感到兴奋。“以前的方法仅限于仅检测特定类型的对象或仅检测可见区域而无需明确推理遮挡区域。相比之下，我们的方法可以像人类视觉系统一样推断遮挡对象的隐藏区域。这可以减少数据收集工作，同时提高复杂环境中的性能，”Back 先生评论道。

为了在他们的系统中启用“遮挡推理”，研究人员引入了“分层遮挡建模”(HOM)方案，该方案为多个提取特征及其预测顺序的组合分配了一个层次结构。通过针对三个基准测试他们的模型，他们验证了 HOM 方案的有效性，该方案实现了最先进的性能。

研究人员对他们的方法的未来前景充满希望。“在杂乱的环境中感知看不见的物体对于模态机器人操作至关重要。我们的 UOAIS 方法可以作为这方面的基线，”Back 先生说。