深度学习模型在Gran上实现了超人的表现

在过去的几十年中，全球的研究团队开发了机器学习和深度学习技术，这些技术可以在各种任务上实现人类可比的性能。这些模型中的一些还经过训练，可以玩著名的棋盘或视频游戏，例如古代中国游戏Go或Atari街机游戏，以便进一步评估其功能和性能。

苏黎世大学和索尼AI苏黎世大学的研究人员最近测试了一种基于深度强化学习的方法的性能，该方法经过训练可玩Gran Turismo Sport，这是由Polyphony Digital开发并由Sony Interactive Entertainment发行的著名赛车视频游戏。他们的发现发表在arXiv上预先发表的一篇论文中，进一步凸显了深度学习技术在模拟环境中控制汽车的潜力。

进行这项研究的研究人员之一宋云龙告诉TechXplore：“高速自动驾驶是一项艰巨的任务，即使车辆接近其物理极限，也需要做出快速而精确的动作。” “自动赛车的目标是在最短的时间内完成给定的路线，其中包括控制汽车以接近其物理限制的一些困难。要解决这些挑战并推进前沿，我们考虑了自动赛车的任务在最畅销的赛车游戏《 Gran Turismo Sport》中，该游戏以对各种汽车和赛道的详细物理模拟而闻名。”

Song和他的同事最近进行的研究的主要目的是开发一种基于人工神经网络(ANN)的控制器，该控制器可以在模拟轨道内自动移动赛车，而无需事先了解赛车的动力学特性。为了在Gran Turismo Sport上表现出色，控制器应尝试尽量减少完成给定轨道的时间。

为了实现他们的目标，研究人员首先定义了一个奖励函数，该函数将“竞赛问题”公式化为最短时间问题，并概述了将输入的观察结果直接映射到汽车控制命令的神经网络策略。随后，他们使用强化学习训练了神经网络的参数，从而最大限度地提高了模型在表现良好时将获得的回报。

研究人员在Gran Turismo Sport的试验中训练了他们基于神经网络的控制器，并在四个Playstation 4游戏机和台式PC上运行了该游戏。值得注意的是，经过不到73小时的训练，他们的模型已经达到了超人的表现。