NVIDIA在西雅图推出新机器人实验室

NVIDIA在机器人方面并不是特别出名，但即将发生变化。就在几个星期前，NVIDIA在西雅图建立了一个闪亮的新机器人研究实验室，在华盛顿大学轻松漫步。NVIDIA AI机器人研究实验室由华盛顿大学计算机科学与工程教授Dieter Fox领导，最终将成长为“近50名研究科学家，教师访客和学生实习生。”NVIDIA的目标是帮助机器人制造在实验室工作的艰难过渡只需要足够长的时间就能以可靠和有用的方式发表论文，在现实世界中进行研究。

“该实验室的章程旨在推动突破性的机器人研究，使下一代执行复杂操作任务的机器人能够安全地与人类一起工作，并改变制造，物流，医疗保健等行业。”

以下是新实验室的简短视频介绍，让您了解事物的外观：

视频中的移动操纵器是安装在NVIDIA开发平台顶部的Franka Emika的Panda臂。计划是最终将机器人升级为双臂，可能是全向基座，并且肯定是更集成的传感器。特别是传感器是NVIDIA想要关注的关键，这使得机器人可以安全有效地在人类周围工作。但是，有许多研究用于制造有用的人性化机器人：抓取，操纵，计算机视觉，物体识别，人机交互和协作 - 公司有很多工作要做。

迪特福克斯

照片：NVIDIA

NVIDIA的新机器人实验室由Dieter Fox领导，Dieter Fox也是西雅图华盛顿大学的计算机科学与工程教授。

有关NVIDIA解决所有这些机器人挑战的方法的更多细节，我们采访了 NVIDIA机器人研究高级主管 Dieter Fox。

IEEE Spectrum：华盛顿大学有一个很棒的机器人计划。使用NVIDIA进行研究时，情况会有何不同?

迪特尔福克斯： 我们想要做的研究和我们想要遵循的研究哲学的动机是，作为一名学者，我们所拥有的那种出版模式有时会令人沮丧。对于经营多年并整合不同研究优势的大型项目来说，这不太合适。您通常看到的是您的博士生写了一篇论文，它被接受了，然后我告诉学生，“好吧，现在让我们将它集成到我们更大的机器人系统中，让它在现实世界中真正发挥作用。” 当然，学生说：“我真的不想这样做，因为我无法发表它。” 这种出版模式强烈鼓励学生转向一个新问题 - 没有强烈的鼓励让它真正发挥作用。对于学生来说

为什么要将厨房作为研究环境?

我们希望用它来推动我们的研究。我相信厨房是一个如此丰富，充满挑战的环境，如果我们无法解决厨房中的所有任务，那么我们将无法解决其他领域也出现的类似问题，例如制造或卫生保健。因此，我们的想法是使用这个厨房挑战自己设计和制造可以解决任务的机器人。

现在，缺乏一个商定的环境，人们可以在其中测试和比较他们的操纵系统。我认为厨房，例如世界上几乎标准化的宜家厨房，你可以想象机器人实验室只需购买自己的厨房并进行自己的研究，然后将他们的机器人和能力相互比较。

NVIDIA的优势之一是模拟。在什么情况下，您认为模拟对于机器人技术最有用，在什么情况下它不太有用?您如何在模拟成功与现实世界成功之间进行转换?

我认为有关如何使用模拟器的不同应用领域。模拟器的一个用途是，如果您只是想测试或调试您的系统，我认为这非常有用。您还可以测试您不希望在现实世界中进行的场景，例如人机交互，尽管这仍然是一项开放性研究 - 我们如何模拟人?为了真正模拟一个人的行为，我们真的无法做到这一点。另一种方法是虚拟现实，您可以将真人置于虚拟环境中，并且该人可以与机器人进行交互。如果你有两个人，你可以收集一个机器人的训练数据，其中一个人在VR中控制机器人，另一个人在VR中模仿一个人 - 我认为这将是一个非常令人兴奋的应用领域。

在机器学习领域，有一点需要注意的是，一些模拟场景有些过于简单，并没有真正反映现实世界中真实机器人的复杂性，所以我认为我们必须小心看模拟中的任务我们感觉到比如实际上反映了我们对真实机器人的挑战。例如，我们使用模拟来训练我们的物体检测系统。你有一个摄像头图像，让我们说你知道机器人想要检测一个咖啡杯。如果我们有一个咖啡杯的模型，我们可以在模拟中使用合成数据训练深度神经网络，并且在现实世界中非常有效。这真是太神奇了，我很惊讶这些东西如何推广。关键技巧是在你的模拟器中，

问题是你的模拟器不知道现实世界的所有参数。这意味着如果我们现在将我们学到的策略应用于真实的机器人，它通常会失败。所以在我们的研究中，我们在模拟中训练一个策略，随机化物理参数，然后我们在现实世界中尝试它，而这很可能会失败。但是我们使用我们在这个真实世界试验中生成的数据来改变模拟中物理参数的随机化，然后我们可以返回并训练一个更强大的策略。我们只使用现实世界来更好地随机化模拟中的参数。

因此，我完全同意这是一个非常重要的问题，但我认为研究界已经意识到这一点，我们正在努力使其更好，更好地运作。

NVIDIA的创始人兼首席执行官Jensen Huang与ABB YuMi进行了互动，旨在跟踪一个人的行动。

照片：NVIDIA

NVIDIA创始人兼首席执行官Jensen Huang与ABB YuMi双臂机器人进行交互，该机器人可以模仿一个人的手势。

你提到模拟对于物体识别和训练掌握非常有用，但其中一个重要问题是厨房的位置如何从一个家到另一个家。如果您的新厨房机器人配备了一整套菜肴，您的机器人知道如何识别和如何识别它会更容易吗?是否正在适应我们的生活，使机器人的工作变得更加容易?

一方面，一位研究人员可能会说，“你们疯了，因为你需要整个厨房的三维模型，这是不现实的，因为每个人都必须测量他们的厨房。” 但是，我坚信在不久的将来，如果你为你的厨房购买任何类型的家具或任何东西，那些东西应该有自己的3D模型。这些公司有3D模型的东西，因为他们需要它们用于制造; 他们为什么不应该被机器人使用呢?

从研究的角度来看，我也雄心勃勃地相信机器人应该能够在不需要这些模型的情况下解决这些任务。例如，如果你进入你邻居的厨房，你想要一个叉子，你不需要厨房的3D模型，你做的是找到一个抽屉，识别手柄的位置，你只需要拉在上面。我们人类能够非常强大地完成这些事情，而这正是我们在研究方面正在研究的事情 - 我们正在努力让机器人完成这项工作。

所以我们试图双管齐下 - 利用所有这些模型，但同时，通过我们的研究调查如何在没有这些模型的情况下使其工作。

可以使用多少硬件来帮助解决抓取挑战，以及掌握多少软件问题?

这是我们需要的两者的共同演化。您需要联合查看软件和硬件，而不是独立查看。在硬件方面还有很多必须要做的开发; 例如，触摸感应是一项关键功能，可帮助人类执行手动操作任务，甚至以更加健壮的方式挑选任务。现在在硬件方面，有几个系统即将出现，但他们仍然没有机器人手上的完整触摸皮肤的概念。它通常仅限于指尖。

因此，我认为机械手设计仍有很大的改进空间，无论是触摸感应还是铰接本身，同时开发可以利用这些新硬件设计和传感器的控制算法设计也是如此。

这实际上是我认为深度学习的一些希望，因为它非常适合组合这些不同的传感器数据流。如果你想进行强大的操作，你需要将所有这些信息放在一起，这意味着你需要使用视觉信息并将其与触摸感应和力反馈相结合，并使用所有这些来控制手本身的闭环控制算法。

你认为在像厨房这样的环境中，一切都是为人类的双手设计，使用五指手，或者你认为使用双指夹具会让你大部分时间复杂得多?

让我们这样说吧 - 智能算法和传感的两个手指将使我们超越现在的位置。我不认为这是最终的解决方案。另外，为什么没有带吸盘的机器人?我不是必然会与拟人设计结婚，但由于这些环境是为我们设计的，所以它们显然非常适合这些类型的手。与那些多年来一直在操纵的人交谈时，他们也同意两个手指可以做很多事情，但最终你必须超越它。

举个例子 - 如果你让一个人用两个手指抓手遥控一个机器人，我们已经可以做很多事了。因此，这清楚地表明缺乏的是智能和算法，它们感知我们感知这些场景的方式，并相应地生成控制命令。

既然您正在为厨房环境开发移动机械手，那么您认为我们什么时候可以在我们的家中运行?

我们之所以做厨房，并不是因为我相信厨房将成为这些机器人在家中的首要应用 - 这些任务仍然具有挑战性。这更像是一个研究方向，可以代表其他情景，如工业制造或医疗保健。所以我想在家里，在我们拥有一个正常的家庭会为他们做饭的机器人之前，会有许多其他的应用场景。例如，有特殊需求的人，那里有更强大的动力来拥有机器人，并且可能有更多约束任务可能非常有用，但机器人可以执行，例如将物品带到人或拾取物品从地板上。

能够只是提出食谱并让机器人为你烹饪整个食物吗?那将是几十年了。但这就是为什么厨房令人兴奋，因为我们可以上演它，我们可以让它变得越来越复杂。一个中间步骤可能是人正在做艰苦的工作，所有机器人需要做的就是在正确的时间带来正确的成分 - 机器人不是一个很好的厨师，但它确实可以做到的事情，并帮助您更有效地完成更好的工作。

你说“现在是开发下一代机器人的时候了。”下一代机器人究竟是什么?

下一代机器人真的是机器人的概念，可以与人一起执行操作任务，这意味着他们可以安全地与人合作，他们有能力识别周围发生的事情，了解人们何时给他们命令，能够在学习新任务方面要灵活，一个人应该能够以一种简单而自然的方式教他们新的任务。那肯定还有五年了。但在此过程中，正如我们正在进行这项研究一样，我们将看到这些机器人变得足够有用，以至于在工业应用等方面，它们将开始在那个时间框架内部署。这是件好事 - 我们说没有最终目标，“直到我们到达那里，这些机器人完全没用。” 总会有中间步骤使它们值得部署，