软件可以在虚拟现实中控制机器人

即使自主机器人在自己做事方面做得更好，仍然会有很多情况下人类可能需要介入并控制。由布朗大学计算机科学家开发的新软件使用户能够使用虚拟现实远程控制机器人，这可以帮助用户沉浸在机器人周围的环境中，尽管身体距离很远。

该软件通过互联网将机器人的手臂和夹具以及车载摄像头和传感器连接到现成的虚拟现实硬件。使用手持式控制器，用户可以通过移动自己的手臂来控制机器人手臂的位置，以执行复杂的操作任务。用户可以进入机器人的金属皮肤并获得第一人称环境视图，或者可以在机器人周围走动以第三人称测量场景 - 无论哪个更容易完成手头的任务。在机器人和虚拟现实单元之间传输的数据足够紧凑，可以通过互联网以最小的延迟发送，使用户可以远距离引导机器人。

“我们认为这可能对我们需要做一些灵巧操作的任何情况都有用，但人们不应该这样做，”布朗的研究生大卫惠特尼说，他是该系统开发的共同领导者。“我们特别想到的三个例子是拆除炸弹，在受损的核设施内工作或在国际空间站上操作机器人手臂。”

惠特尼与布朗的本科学生埃里克罗森共同领导了这项工作。两人都在Brown的人类到机器人实验室工作，该实验室由计算机科学助理教授Stefanie Tellex领导。本周在智利机器人研究国际研讨会上发表了一篇描述该系统并评估其可用性的论文。

即使是高度复杂的机器人也经常使用一些相当简单的手段进行远程控制 - 通常是键盘或类似视频游戏控制器和二维显示器。惠特尼和罗森说，这对于驾驶轮式机器人或驾驶无人机等任务很有效，但对于更复杂的任务可能会有问题。

“对于像操作具有很多自由度的机器人手臂这样的东西，键盘和游戏控制器并不是非常直观，”惠特尼说。将三维环境映射到二维屏幕上可能会限制人们对机器人居住空间的感知。

Whitney和Rosen认为虚拟现实可能提供更直观和沉浸式的选择。他们的软件将Baxter研究机器人与HTC Vive连接在一起，HTC Vive是一个带有手动控制器的虚拟现实系统。该软件使用机器人的传感器创建机器人本身及其周围环境的点云模型，并将其传输到连接到Vive的远程计算机。用户可以看到耳机中的空间，并在其内部虚拟走动。同时，用户可以从机器人的手腕摄像头看到实时高清视频，以获取要执行的操作任务的详细视图。

对于他们的研究，研究人员表明，他们可以为用户创造身临其境的体验，同时保持数据负载足够小，以便可以通过互联网传输，而不会产生分散注意力的延迟。例如，位于罗得岛州普罗维登斯的用户能够使用位于马萨诸塞州剑桥市41英里外的机器人执行操作任务 - 将塑料杯堆叠在另一个内部。

在其他研究中，与传统的键盘和显示器界面相比，18位新手用户能够在虚拟现实中完成杯子堆叠任务66%的速度。用户还报告说更多地享受虚拟界面，他们发现与键盘和显示器相比，操作任务要求更低。

罗森认为，执行任务的速度提高是由于虚拟现实界面的直观性。

“在虚拟现实中，人们可以像移动他们的身体一样移动机器人，因此他们可以在不考虑它的情况下完成它，”罗森说。“这让人们可以专注于手头的问题或任务，而不会增加认知负荷，试图找出如何移动机器人。”

研究人员计划继续开发该系统。第一次迭代主要关注一个相当简单的操作任务，其中机器人在环境中是静止的。他们想尝试更复杂的任务，然后将操作与导航结合起来。他们还想尝试混合自治，其中机器人自己完成一些任务，用户接管其他任务。