Facebook AI研究员敦促同行走出现实世界

研究员敦促同行走出现实世界

来自Atari 的视频游戏Breakout于1976年首次登场。游戏，一个简单的问题就是水平移动桨以将球弹回墙壁并切断它们，已经成为培训人工智能的支柱。

但也许是时候突破突围了。

周三早上，Facebook的人工智能研究部门的科学家Joelle Pineau在着名的蒙特利尔机器学习会上发表了关于机器学习的会议。

此外：IBM，Apple和Facebook代表了对于值得尊敬的AI会议的新业务倾向

Pineau的直接关注点是，尽管有很多优点，但今天在机器学习方面的工作太多，也没有留下严谨的方面。例如，许多研究是在模拟世界中完成的，在计算机内以原始方式构建的东西。Pineau建议，这些模拟可能有助于使结果重现，这很好，但它们错过了自然界的许多复杂性，这可能会使工作变得不那么有意义，不那么严谨。

“我喜欢模拟器有助于重复性，”Pineau说。“我们希望获得这种便利，但我们也希望包含一些现实世界。

我们必须打破这些模拟器并解决现实世界，”她敦促道。

Pineau专注于她热衷的机器学习，称为强化学习，它广泛使用模拟器。强化学习技术是关于使计算机“代理”能够在环境中采取一系列动作，并且基于最大化代理接收的奖励来找出在可能的动作之间做出良好选择的规则。

此外：Facebook的目标是在最新的人工智能研究中更加吸引人类

Atari的Breakout是众多视频游戏中的一种，用于模拟代理商做出选择的环境。这种模拟训练导致计算机越来越超越人类在游戏中的表现。许多研究人员正在探索使用强化学习的有希望的途径，例如用于嵌入体内的“神经刺激”装置的控制系统，可以帮助预防癫痫发作。

但是Pineau暗示强化学习的这种关键用途需要最终解决现实世界的复杂性。

对此事的反思，Pineau和她的团队想知道，“我们可以通过一些自然世界的信号让这更有趣吗?” 他们将街景的视频插入Breakout的背景中，并使用新的，更“嘈杂”的环境重新训练强化学习系统。

此外：Facebook Oculus研究制作了John Oliver和Stephen Colbert的奇怪混搭

“视频是无穷无尽的自然噪音源，”Pineau观察到。正如她所指出的，当人们被要求用视频背景玩游戏时，“它有点难，但它们仍然可以玩。” 这意味着，如果计算机可以成功应对这种逆境，那么在添加噪声时会出现挑战，这些挑战可以产生更令人印象深刻的结果。

“我们可以做很多事情来将环境中的自然噪音融入其中，”Pineau说。“我们可以在模拟器的真实性中设置更高的标准。

另外：Pineau的演讲幻灯片可在NeurIPS网站上下载

“从静态图像到视频背景，我们可以进一步发展。”

这包括“创建照片逼真的模拟环境”，她说。她展示了模拟房屋内部的一些图像，真实世界的图像被嫁接到空间，直到反射镜子。