如何判断机器学习系统是否足够强大

麻省理工学院的研究人员已经设计出一种方法，用于评估被称为神经网络的机器学习模型如何用于各种任务，通过检测模型何时出错而不应该这样做。

卷积神经网络(CNN)旨在处理和分类图像以用于计算机视觉和许多其他任务。但是人眼难以察觉的轻微修改 - 比如图像中的一些较暗的像素 - 可能会导致CNN产生截然不同的分类。这些修改被称为“对抗性示例”。研究对抗性示例对神经网络的影响可以帮助研究人员确定他们的模型如何容易受到现实世界中意外输入的影响。

例如，无人驾驶汽车可以使用CNN来处理视觉输入并产生适当的响应。如果汽车接近停车标志，它将识别标志并停止。但是2018年的一篇论文发现，在停车标志上放置一个黑白贴纸实际上可以欺骗无人驾驶汽车的CNN对标志进行错误分类，这可能会导致它根本不会停止。

然而，没有办法完全评估大型神经网络对所有测试输入的对抗性示例的弹性。在他们本周在国际学习代表会议上发表的一篇论文中，研究人员描述了一种技术，对于任何输入，要么找到对抗性的例子，要么保证所有被扰动的输入 - 仍然看起来与原始相似 - 被正确分类。通过这样做，它可以测量网络对特定任务的稳健性。

类似的评估技术确实存在，但还无法扩展到更复杂的神经网络。与这些方法相比，研究人员的技术运行速度提高了三个数量级，并且可以扩展到更复杂的CNN。

研究人员评估了CNN的稳健性，旨在对MNIST手写数字数据集中的图像进行分类，其中包括60,000个训练图像和10,000个测试图像。研究人员发现，大约4%的测试输入可能会受到轻微扰动，从而产生可能导致模型进行错误分类的对抗性示例。

第一作者，计算机科学与人工智能实验室(CSAIL)的研究生Vincent Tjeng说：“对抗性的例子欺骗了一个神经网络，使人们不会犯错误。” “对于给定的输入，我们想要确定是否有可能引入小的扰动，这会导致神经网络产生与通常情况下截然不同的输出。通过这种方式，我们可以评估不同神经网络的稳健程度，找到至少一个与输入类似的对抗性示例，或者保证不存在该输入。“

加入Tjeng的是CSAIL研究生Kai Xiao和Russ Tedrake，CSAIL研究员和电气工程与计算机科学系(EECS)教授。

CNN通过包含称为神经元的单元的许多计算层来处理图像。对于对图像进行分类的CNN，最后一层由每个类别的一个神经元组成。CNN基于具有最高输出值的神经元对图像进行分类。考虑一个CNN，旨在将图像分为两类：“猫”或“狗”。如果它处理猫的图像，“猫”分类神经元的值应该更高。当对该图像的微小修改导致“狗”分类神经元的值更高时，会出现对抗性示例。

研究人员的技术检查对图像每个像素的所有可能修改。基本上，如果CNN为每个修改的图像分配正确的分类(“cat”)，则不存在该图像的对抗性示例。

该技术的背后是“混合整数规划”的修改版本，这是一种优化方法，其中一些变量被限制为整数。本质上，混合整数规划用于在给定变量的某些约束的情况下找到一些目标函数的最大值，并且可以被设计为有效地扩展以评估复杂神经网络的鲁棒性。

研究人员设定了限制，允许每个输入图像中的每个像素都被提亮或变暗达到一定的设定值。给定限制，修改后的图像看起来仍然与原始输入图像非常相似，这意味着CNN不应该被愚弄。混合整数编程用于找到可能导致错误分类的像素的最小可能修改。

这个想法是调整像素可能会导致错误分类的值上升。例如，如果将猫图像输入到宠物分类CNN中，则算法将保持扰动像素以查看它是否可以将对应于“狗”的神经元的值提高到高于“猫”的值。

如果算法成功，则它已找到输入图像的至少一个对抗性示例。该算法可以继续调整像素以找到导致错误分类所需的最小修改。最小修改越大 - 称为“最小对抗性失真” - 网络对抗对抗性的例子就越强。然而，如果正确的分类神经元针对所有不同的修改像素组合触发，则算法可以保证图像没有对抗性示例。

“鉴于一个输入图像，我们想知道我们是否可以通过触发错误分类的方式对其进行修改，”Tjeng说。“如果我们不能，那么我们就可以保证我们在整个空间中搜索了允许的修改，并发现原始图像没有被错误分类的扰动版本。”

最后，这会生成一个百分比，表示有多少输入图像具有至少一个对抗性示例，并保证其余部分没有任何对抗性示例。在现实世界中，CNN拥有许多神经元，并将在大量数据集上进行数十种不同的分类训练，因此该技术的可扩展性至关重要，Tjeng说。

“在针对不同任务设计的不同网络中，CNN对于对抗性的例子非常重要，”他说。“我们可以证明没有对抗性的例子，测试样本的分数越大，网络暴露于扰动输入时应该表现得越好。”

“由于几乎所有[传统]防御机制都可以再次被打破，因此可靠性对稳健性的影响非常重要，”萨尔州大学数学与计算机科学教授马蒂亚斯海因说，他没有参与这项研究，但尝试了这项技术。“我们使用确切的验证框架来证明我们的网络确实很强大...... [和]使得与正常培训相比也可以验证它们。”