一种提高四足机器人足球投篮技巧的强化学习框架

加州大学伯克利分校(UCBerkeley)、蒙特利尔大学和Mila的研究人员最近开发了一种分层强化学习框架，以提高四足机器人在足球投篮中的精度。这个框架是在arXiv上预先发表的一篇论文中介绍的，它被部署在UnitreeA1上，这是一个由UnitreeRobotics开发的四足机器人。

“人的腿不仅用于运动，还可以用于踢足球等操作，我们希望四足机器人也能够获得这种能力，”进行这项研究的研究人员之一李忠宇告诉TechXplore。“机器人界有一个著名的联赛叫做‘RoboCup’(机器人世界杯)，几十年来一直在邀请研究人员训练他们的机器人踢足球比赛。”

最近的进步使得为机器人创建更可靠的硬件和先进的控制算法成为可能。因此，机器人现在变得更加敏捷，并且有可能处理更复杂的任务，包括与人类一起踢足球。Li和他的同事开发的框架可以帮助提高四足机器人在足球比赛中的射门能力。

新框架有两个关键组成部分：运动控制策略和运动规划策略。运动控制组件允许机器人跟踪其踢腿上脚趾的任意轨迹。另一方面，运动规划策略选择最佳脚趾轨迹以将附近的足球(由外部摄像机检测到)射击到目标位置(例如，球门柱)。

“我们的设计使我们能够将精确足球任务的挑战分解为两个子任务：控制和计划，”李说。“我们可以首先专注于训练一个可以在硬件上工作的鲁棒控制策略，然后重新使用这样的控制器来学习规划策略。为了将球精确地射向现实世界中的目标，规划器使用真实的-机器人射击真实足球时的世界数据。”

Li和他的同事使用A1四足机器人在一系列真实世界的测试中测试了他们的框架。他们发现它允许机器人以高精度将可变形的足球射向随机目标。这是一项非常复杂的任务，因为机器人需要快速摆动其踢腿并在不失去平衡的情况下获得动力。

“足球带来了更多挑战，因为机器人不仅需要处理与可变形球的难以建模的软接触，还需要处理球与地面之间滚动摩擦的不确定性，”李说。“我们为解决这些问题而开发的方法可能对动态机器人(例如腿式机器人)必须与软物体(例如球、绳索、皮带、衣服等)交互的任务很有用。”

将来，这组研究人员创建的框架可用于提高机器人在足球比赛中的表现，尤其是Robocup。同时，李和他的同事计划设计其他框架和机器学习模型，以提高机器人在足球比赛其他元素中的表现。

“我们的长期目标是开发有朝一日可以与人类竞争的四足机器人足球运动员，”李补充说。“我们正在使用四足机器人开发更复杂的足球技能，希望在不久的将来，我们可以使用四足机器人开始一场完全自主的足球比赛。”