研究人员训练AI模仿YouTube视频中的20个杂技动作

加州大学伯克利分校的研究人员创建了一个教学人工智能系统的框架，以便通过在YouTube上播放视频片段来学习动作。

该框架结合了计算机视觉和强化学习，以从视频中培训AI技能。总而言之，该团队能够训练人工智能执行超过20种杂技任务，如车轮，翻滚，后空翻和一些武术。

该方法不需要使用动作捕捉视频，这种视频通常用于将人类动作转换为数字形式，例如LeBron James合并到NBA 2K18中的运动或Andy Serkis作为指环王的Gollum的表现。

该框架的工作原理是首先摄取视频，以了解每个视频帧中看到的姿势; 然后训练模拟角色以使用强化学习来模仿运动。该系统还可以拍摄运动中的人的单个图像并预测运动将如何执行的合理结果。

直接从视频中学到的技能可以在不同的角色和环境中重复使用。其中一个被重新用于训练阿特拉斯的模拟，阿特拉斯是一个来自波士顿动力公司的人形机器人，它去年引起了全世界的注意，他做了后空翻。

周二发布的研究结果是伯克利研究人员上个月在一篇论文中强调的关于训练人工智能系统跳舞的研究。

“总而言之，我们的框架实际上只是采取了解决视频模仿问题时任何人都能想到的最明显的方法。关键在于将问题分解为更易于管理的组件，为这些组件选择正确的方法，并将它们有效地集成在一起，“作者Jason(Xue Bin)Peng和Angjoo Kanazawa在Berkeley AI Research 博客文章中说。“然而，模仿视频技能仍然是一个极具挑战性的问题，而且有很多我们还无法复制的视频片段：灵活的舞步，例如这种江南风格的片段，仍然难以模仿。”

其他作者包括加州大学伯克利机器人学习实验室主任Pieter Abbeel，加州大学伯克利分校助理教授Sergey Levine和加州大学伯克利分校教授Jitendra Malik。

周二发布的研究结果是伯克利研究人员上个月在一篇论文中强调的关于训练人工智能系统跳舞的研究。

“总而言之，我们的框架实际上只是采取了解决视频模仿问题时任何人都能想到的最明显的方法。关键在于将问题分解为更易于管理的组件，为这些组件选择正确的方法，并将它们有效地集成在一起，“作者Jason(Xue Bin)Peng和Angjoo Kanazawa在Berkeley AI Research 博客文章中说。“然而，模仿视频技能仍然是一个极具挑战性的问题，而且有很多我们还无法复制的视频片段：灵活的舞步，例如这种江南风格的片段，仍然难以模仿。”

其他作者包括加州大学伯克利机器人学习实验室主任Pieter Abbeel，加州大学伯克利分校助理教授Sergey Levine和加州大学伯克利分校教授Jitendra Malik。