新的机器人可以看到他们的未来

加州大学伯克利分校的研究人员开发了一种机器人学习技术，使机器人能够想象他们行动的未来，以便他们能够弄清楚如何操纵他们以前从未遇到过的物体。在未来，这项技术可以帮助自动驾驶汽车预测路上的未来事件，并在家中生产更智能的机器人助手，但最初的原型侧重于完全从自主游戏中学习简单的手动技能。

使用这种称为视觉远见的技术，机器人可以预测如果他们执行特定的运动序列，他们的相机会看到什么。这些机器人的想象力现在仍然相对简单 - 预测仅在未来几秒钟内完成 - 但它们足以让机器人弄清楚如何在桌面上移动物体而不会打扰障碍物。至关重要的是，机器人可以学习执行这些任务，而无需人类的任何帮助或有关物理，环境或物体的先验知识。这是因为视觉想象力是从无人看管和无人监督的探索中完全从头开始学习的，其中机器人在桌子上玩物体。在这个游戏阶段之后，机器人建立了一个世界的预测模型，

“就像我们可以想象我们的动作将如何在我们的环境中移动物体一样，这种方法可以使机器人能够看到不同的行为将如何影响周围的世界，”伯克利电气部助理教授谢尔盖·莱文说。工程和计算机科学，其实验室开发了该技术。“这可以在复杂的现实世界中实现高度灵活的技能的智能规划。”

研究小组将于12月5日在加利福尼亚州长滩举行的神经信息处理系统会议上展示视觉前瞻技术。

该系统的核心是基于卷积重复视频预测或动态神经平流(DNA)的深度学习技术。基于DNA的模型根据机器人的动作预测图像中的像素将如何从一帧移动到下一帧。最近对这类模型的改进以及大大改进的规划能力使得基于视频预测的机器人控制能够执行越来越复杂的任务，例如在障碍物周围滑动玩具以及重新定位多个对象。

“过去，机器人已经通过人工监督员帮助和提供反馈来学习技能。让这项工作令人兴奋的是，机器人可以完全靠自己学习一系列视觉对象操控技能，”Chelsea Finn说，他是一名博士生。 Levine的实验室和原始DNA模型的发明者。

利用新技术，机器人将物体推到桌子上，然后使用学习的预测模型来选择将物体移动到期望位置的运动。机器人使用从原始相机观察中学习的模型来教自己如何避开障碍物并将物体推到障碍物周围。

“人类在没有任何老师的情况下通过数百万次与各种物体的互动来学习物体操纵技能。我们已经证明，有可能建立一个机器人系统，利用大量自主收集的数据来学习广泛适用的操作技能，特别是对象推动技巧，“莱文实验室的研究生弗雷德里克埃伯特说，他参与了这个项目。

由于通过视频预测的控制仅依赖于可由机器人自主收集的观察，例如通过相机图像，因此所得到的方法是通用的并且广泛适用。与需要人类手动标记数千甚至数百万图像的传统计算机视觉方法相比，构建视频预测模型仅需要未注释的视频，其可由机器人完全自主地收集。实际上，视频预测模型也已应用于代表从人类活动到驾驶的所有内容的数据集，并具有令人信服的结果。

“孩子们可以通过玩玩具，移动它们，抓住它们来了解他们的世界。我们的研究目标是使机器人能够做同样的事情：通过自主交互来了解世界是如何运作的，”Levine说过。“这个机器人的能力仍然有限，但它的技能是完全自动学习的，并且可以通过建立先前观察到的交互模式来预测与之前从未见过的物体的复杂物理交互。”

伯克利的科学家们正在继续通过视频预测来研究控制，专注于进一步改进视频预测和基于预测的控制，以及开发更复杂的方法，通过这些方法，机器人可以收集更集中的视频数据，用于复杂的任务，例如拾取和放置物体并操纵柔软和可变形的物体，如布料或绳索，以及装配。