一种低成本的四足机器人可以通过强化学习来学习

在过去的十年左右的时间里，机器人专家和计算机科学家试图使用强化学习(RL)方法来训练机器人有效地导航其环境并完成各种基本任务。然而，到目前为止，构建负担得起的机器人来支持和管理与RL算法相关的探索性控制一直是相当困难的。

阿尔托大学和Ote Robotics的研究人员最近创建了RealAnt，这是一种低成本的四足机器人，可以有效地用于测试和实施RL算法。在arXiv上预发表的一篇论文中介绍的新机器人技术平台是“蚂蚁”机器人仿真环境的简约且价格合理的真实版本，该平台经常用于RL研究中。

Ote Robotics的联合创始人Jussi Sainio对Tech Xplore表示：“我们研究的最初灵感是RL研究，成功地证明了在类似蚂蚁的四足机器人和人形机器人仿真中从零开始的学习。” “采用RL算法的基本前提是，对机器人进行编程变得更加容易和更加'自然'-只需定义可用的传感器测量值，运动动作，然后设定目标目标并将其全部插入强化学习中即可。算法，找出其余部分。”

最初，RL算法只有在经过数千小时的机器人仿真训练后才能表现良好。但是，最近，计算机科学家仅需很少的训练数据就可以教受蚂蚁启发的四足机器人走路，从而达到所谓的高采样效率。这样就可以在现实世界中直接训练机器人，而无需进行基于模拟的训练。

Sainio解释说：“我们很快意识到，像RealAnt一样的步行机器人并不容易且价格低廉，尤其是对于强化学习而言，这很容易通过滥用控制来损坏机器人。” “与模拟器环境相比，没有一个完整的软硬件组合可以用于现实世界的强化学习，并且可以开始使用。因此，我开始构建自己的机器人和界面软件原型。”

Sainio和他的同事最近的工作的主要目的是基于现有的基准RL解决方案创建一个简单且低成本的机器人平台。这样的平台将使更多的研究人员能够构建和测试能够完成现实世界中各种基本任务的自主机器人。