使用Minecraft来解开机器人的思维

布朗大学的研究人员正在开发一种新算法，以帮助机器人更好地规划他们在复杂环境中的行为。它旨在帮助机器人在现实世界中更有用，但它是在虚拟世界的帮助下开发的 - 即视频游戏“我的世界”。

基本行动计划虽然对人类来说很容易，但却是机器人技术的前沿。部分问题在于机器人不会直观地忽略与手头任务无关的对象和动作。例如，如果有人要求您清空厨房中的垃圾桶，您就会知道无需打开烤箱或打开冰箱。你去垃圾桶了。

然而，机器人缺乏直觉。大多数规划方法在决定采用哪种方法之前，都要考虑整套可能的对象和行动。换句话说，机器人实际上可能会考虑打开烤箱作为其取出垃圾的计划过程的一部分。在复杂的环境中，这导致计算机科学家称之为“状态空间爆炸” - 一系列选择如此之大以至于令人难以置信。

“这是一个非常棘手的问题，”布朗的计算机科学助理教授Stefanie Tellex说。“我们希望机器人能够做各种不同的事情，但随后可能的行动空间变得巨大。我们不想限制机器人的能力，所以我们必须找到缩小搜索空间的方法。”

Tellex和她的学生正在开发的算法正是这样做的。Tellex实验室的研究生David Abel领导了这项工作，并将在国际自动规划和调度会议上发表演讲。

发现可能的路径

该算法使用“基于目标的动作先验”来增强标准机器人规划算法 - 在给定空间中最有可能帮助代理实现给定目标的对象和动作集。给定任务的先验可由专家操作员提供，但也可通过算法本身通过反复试验来学习。

事实证明，Minecraft游戏提供了一个理想的世界来测试算法在规划过程中学习行动先验并实施它们的程度。对于没有经验的人来说，Minecraft是一款开放式游戏，玩家通过在虚拟世界中摧毁或堆叠3D模块来收集资源并构建各种结构。超过1亿注册用户，它是有史以来最受欢迎的视频游戏之一。

“Minecraft是很多这些机器人问题的典范，”Tellex说。“玩这个游戏的人可以做很多可能的行动，而且收集大量的训练数据非常便宜且容易。在现实世界中这样做要困难得多。”

Tellex和她的同事们开始在研究人员开发的Minecraft模型中构建小区域，每个区域只有几个方块。然后他们将一个角色插入领域并给它一个任务来解决 - 也许挖掘一些埋藏的金子或建造一座跨越鸿沟的桥梁。由算法驱动的代理必须尝试不同的选项，以便学习任务的基于目标的先验 - 完成工作的最佳操作。

“我们可以了解到，如果你站在壕沟旁边并试图穿过，你可以在沟槽中放置块。否则不要放置块，”Tellex说。“如果你试图在一些区块下挖掘一些金币，就要摧毁这些区块。否则不要破坏区块。”

在算法对特定任务进行了多次试验以学习适当的先验后，研究人员转移到了一个前所未有的新领域，看它是否能应用它所学到的东西。事实上，研究人员表明，他们拥有先驱，他们的Minecraft代理可以比标准规划算法驱动的代理更快地解决不熟悉领域的问题。

研究人员在虚拟世界中磨练了算法，然后在真实的机器人中进行了尝试。他们使用该算法让机器人帮助人们完成烘烤布朗尼的任务。该算法为该任务提供了几个动作先验。例如，之前的一个动作让机器人知道鸡蛋经常需要用打蛋器打。因此，当一箱鸡蛋出现在机器人的工作空间中时，它能够预测厨师需要搅拌器并将其交给他。

根据调查结果，Tellex表示，她认为基于目标的行动先锋是一种可行的策略，可以帮助机器人应对非结构化环境的复杂性 - 随着机器人继续走出受控设置并进入我们的家园，这一点将变得非常重要。

这项工作还展示了像Minecraft这样的虚拟空间在为现实世界的机器人和其他人工智能体开发解决方案方面的潜力。Tellex说：“我认为它将为算法的快速迭代提供一种方法，然后我们可以在我们的机器人中运行它们，并且有信心它们将会起作用。”

对于这篇特别的论文，团队在Minecraft模型中使用了非常小的域，以帮助算法更快地学习。但该团队现在已经开发了一种修改 - 一种模式 - 使算法能够在真实游戏中运行，可在线免费获得。该模型是使用BURLAP开发的，BURLAP是Brown的策划代码库，用于学习和规划算法。该团队希望其他研究人员可以使用它来解决新问题，或者常规的Minecraft玩家可能会觉得它很有用。

在真实游戏中，研究人员希望使用他们的算法在越来越大的Minecraft域中执行任务 - 最终可能是所有的Minecraft。这对人工智能来说是一个巨大的飞跃。

“整个Minecraft就是我们称之为'AI完整'，”Tellex说。“如果你可以做所有的Minecraft，你可以解决任何问题。这是相当遥远的，但是在这个过程中有很多有趣的研究目标。”