人类如何在人工智能方面保持优势？

在人工智能(AI)中，机器执行特定的操作，观察结果，相应地调整他们的行为，观察新的结果，再次调整他们的行为，等等，从这个迭代过程中学习。但这个过程是否会失控?有可能。“人工智能将始终寻求避免人为干预，并创造一种无法阻止的局面，”EPFL分布式编程实验室教授，EPFL研究的共同作者Rachid Guerraoui说。这意味着AI工程师必须防止机器最终学会如何规避人类命令。研究这个问题的EPFL研究人员发现了一种让操作人员控制一组AI机器人的方法; 他们将于12月4日星期一提交调查结果，在加利福尼亚州的神经信息处理系统(NIPS)会议上。例如，他们的工作为自动驾驶汽车和无人机的发展做出了重大贡献，使他们能够安全地操作数量。

人工智能中使用的一种机器学习方法是强化学习，其中代理人因执行某些行为而获得奖励 - 这是一种从行为心理学中借鉴的技术。将此技术应用于AI，工程师使用点系统，通过执行正确的操作，机器可以获得积分。例如，机器人可以获得一个点以正确地堆叠一组盒子而另一个点用于从外部检索盒子。但是，如果在下雨天，例如，操作人员在机器人向外收集箱子时会中断机器人，机器人将会知道最好留在室内，堆放箱子并尽可能多地赚取积分。“挑战不是要停止机器人，而是要对机器人进行编程，以便中断不会改变其学习过程 - 并且不会

从单台机器到整个AI网络

2016年，Google DeepMind和牛津大学人类未来研究所的研究人员开发了一种学习协议，可以防止机器从中断中学习，从而变得无法控制。例如，在上面的示例中，机器人的奖励 - 它所获得的点数 - 将根据下雨的机会加权，从而使机器人有更大的动力去取回外面的箱子。“这里的解决方案相当简单，因为我们只处理一个机器人，”Guerraoui说。

然而，AI越来越多地被用于涉及数十台机器的应用中，例如道路上的自动驾驶汽车或空中无人驾驶飞机。“这使得事情变得更加复杂，因为机器开始相互学习 - 特别是在中断的情况下。他们不仅从单独中断的方式学习，还从其他人如何中断学习，”Alexandre Maurer说。 ，该研究的作者之一。参与这项研究的另一位研究人员哈德里安·亨德里克斯(Hadrien Hendrikx)给出了两辆自动驾驶汽车在一条狭窄的道路上相互跟随的例子。他们必须尽快到达目的地 - 不违反任何交通法规 - 汽车中的人员可以随时接管。如果第一辆车中的人经常刹车，

给人类最后一句话

这种复杂性是EPFL研究人员通过“安全可中断性”解决的目标。他们的突破性方法可以让人在必要时中断AI学习过程 - 同时确保中断不会改变机器的学习方式。“简而言之，我们在学习算法中添加'遗忘'机制，基本上删除了机器内存中的一些内容。它有点像黑衣人中的闪存设备，”该研究的另一位作者El Mahdi El Mhamdi说。换句话说，研究人员改变了机器的学习和奖励系统，使其不受中断的影响。就像父母惩罚一个孩子一样，这不会影响家庭中其他孩子的学习过程。

“我们研究现有的算法，并表明无论AI系统有多复杂，涉及的机器人数量或中断类型，安全可中断性都可以发挥作用。我们可以将它与终结者一起使用，但结果仍然相同，”毛雷尔。

如今，使用强化学习的自动机器并不常见。“当犯错误的后果很小时，这个系统运作得很好，”El Mhamdi说。“例如，出于安全考虑，完全自主且没有人为监督，它不能用于Sion的自动驾驶穿梭巴士。但是，我们可以模拟穿梭巴士和Sion市并运行AI算法在梭车系统学习的过程中奖励和减少点数。这就是特斯拉正在进行的模拟。一旦系统经历了足够的学习，我们就可以在自动驾驶中安装预先训练的算法探索率低的汽车，因为这将允许更广泛的使用。“ 当然，在确保人类仍然拥有最后一句话的同时。