研究使机器人更好地遵循口头指示

基于布朗大学计算机科学家研究的新系统使机器人能够更好地遵循口头指令，无论这些指令有多抽象或具体。本周在波士顿举行的机器人：科学与系统2017年会议上展示的这一发展是向机器人迈出的一步，这些机器人能够与人类合作者进行更加无缝的沟通。

这项研究由Dilip Arumugam和Siddharth Karamcheti领导，两位都是布朗的本科生(Arumugam现在是布朗研究生)。他们与研究生Nakul Gopalan和博士后研究员Lawson LS Wong一起在布朗的计算机科学教授Stefanie Tellex的实验室工作。

“我们正在解决的问题是语言基础，这意味着让机器人采用自然语言命令并生成成功完成任务的行为，”Arumugam说。“问题在于命令可能具有不同的抽象级别，这可能导致机器人无法有效地规划其行为或根本无法完成任务。”

例如，想象一个仓库中有人与机器人叉车并排工作。这个人可能会对机器人伙伴说：“抓住托盘。” 这是一个高度抽象的命令，暗示了一些较小的子步骤 - 排列升降机，将叉子放在下面并将其吊起。但是，其他常见命令可能更细粒度，只涉及一个动作：例如，“将叉子向后倾斜一点”。

研究人员表示，这些不同的抽象层次可能会导致当前机器人语言模型出现问题。大多数模型尝试从命令中的单词以及句子结构中识别提示，然后从该语言推断出所需的动作。然后，推断结果触发尝试解决任务的计划算法。但是，如果不考虑指令的特殊性，机器人可能会过度规划简单的指令，或者计划更多涉及更多子步骤的抽象指令。在机器人采取行动之前，这可能导致不正确的操作或过长的计划延迟。

但是这个新系统为现有模型增加了额外的复杂程度。除了简单地从语言推断出期望的任务之外，新系统还分析语言以推断出不同的抽象级别。

“这使我们能够将我们的任务推理以及推断的特异性水平与层级规划器相结合，因此我们可以在任何抽象层面进行规划，”Arumugam说。“反过来，与现有系统相比，我们可以在执行任务时获得显着的性能提升。”

为了开发他们的新模型，研究人员使用了亚力克斯的众包市场Mechanical Turk和一个名为Cleanup World的虚拟任务域。在线域包括一些颜色编码的房间，机器人代理和可以操作的对象 - 在这种情况下，椅子可以从一个房间移动到另一个房间。

Mechanical Turk志愿者观察机器人代理在清理世界领域执行任务 - 例如，将椅子从红色房间移动到相邻的蓝色房间。然后，志愿者被要求说出他们给机器人的指示，让他们执行他们刚看到的任务。为志愿者提供指导，指导他们的指导应具有的特异性。指示范围从高级：“把椅子带到蓝色房间”到逐步级别：“向北走五步，向右转，再走两步，走到椅子上，左转，左转，走五向南走。“ 第三级抽象使用了这两者之间的术语。

研究人员使用志愿者的口头指示来训练他们的系统，以了解在每个抽象层次中使用了哪些词。从那里，系统学会了不仅推断所需的动作，而且推断命令的抽象级别。知道这两件事后，系统就可以触发其分层规划算法，从适当的级别解决任务。

在对系统进行培训后，研究人员在虚拟清理世界和在类似于清理世界空间的物理世界中运行的实际类似Roomba的机器人进行了测试。他们表明，当机器人能够推断出任务和指令的特殊性时，它会在90%的时间内在一秒内响应命令。相比之下，当没有推断出特异性水平时，所有任务中有一半需要20秒或更长的计划时间。

“我们最终希望看到机器人在我们的家庭和工作场所中成为有用的合作伙伴，”专门从事人机协作的Tellex说。“这项工作是朝着让人们与机器人进行沟通的目标迈出的一步，就像我们彼此沟通一样。”