神经网络学习何时不应该信任它

越来越多地，被称为深度学习神经网络的人工智能系统用于告知对人类健康和安全至关重要的决策，例如在自动驾驶或医疗诊断中。这些网络擅长识别大型复杂数据集中的模式以帮助决策。但是，我们怎么知道它们是正确的呢?亚历山大·阿米尼(Alexander Amini)和他在麻省理工学院和哈佛大学的同事希望找出答案。

他们为神经网络开发了一种处理数据的快速方法，不仅可以输出预测，还可以基于可用数据的质量输出模型的置信度。这种进步可能会挽救生命，因为当今的现实世界已经部署了深度学习。网络的确定性级别可以是自动驾驶汽车确定“很明显可以通过交叉路口”和“很可能已经清楚，因此以防万一”之间的区别。

用于神经网络的不确定性估计的当前方法在计算上趋于昂贵并且对于瞬间决策而言相对较慢。但是阿米尼的方法被称为“深度证据回归”，可以加快这一过程，并可能导致更安全的结果。“我们不仅需要拥有高性能模型的能力，而且还需要了解我们何时无法信任那些模型的能力，”博士Amini说。麻省理工学院计算机科学与人工智能实验室(CSAIL)的Daniela Rus教授小组的学生。

“这个想法很重要，并且广泛适用。它可以用于评估依赖于学习模型的产品。通过估计学习模型的不确定性，我们还可以了解模型会带来多少误差，以及哪些缺失数据可以改善模型的误差。模型。” Rus说。

Amini将与Rus一起在下个月的NeurIPS会议上介绍这项研究，Rus是安德鲁和厄纳·维特比(Andrew and Erna Viterbi)的电气工程和计算机科学教授，CSAIL的负责人，也是麻省理工学院斯蒂芬·A·施瓦茨曼计算机学院的副院长。麻省理工学院的研究生Wilko Schwarting以及麻省理工学院和哈佛大学的Ava Soleimany。

有效的不确定性

纵观历史，深度学习在各种任务上都表现出卓越的性能，在某些情况下甚至超过了人类的准确性。如今，深度学习似乎随计算机而去。它为搜索引擎结果，社交媒体供稿和面部识别提供了动力。“我们在使用深度学习方面取得了巨大的成功，” Amini说。“神经网络确实擅长于99%的时间知道正确的答案。” 但是有99%的人无法挽救生命。

阿米尼说：“使研究人员无法理解的是，这些模型能够知道并告诉我们何时可能出错。” “我们真的很在意这1%的时间，以及我们如何可靠，有效地检测到这些情况。”

神经网络可能非常庞大，有时会充满数十亿个参数。因此，仅仅为了获得答案可能是繁重的计算工作，更不用说置信度了。神经网络中的不确定性分析并不新鲜。但是以前的方法基于贝叶斯深度学习，已经多次依赖运行或采样神经网络来了解其信心。该过程需要时间和内存，这在高速流量中可能并不存在。

研究人员设计了一种方法，可以仅通过一次神经网络来估计不确定性。他们设计了具有大量输出的网络，不仅生成决策，而且还收集了新的概率分布，以收集支持该决策的证据。这些分布称为证据分布，直接捕获了模型对其预测的信心。这包括基础输入数据以及模型的最终决策中存在的任何不确定性。这种区别可以表明是否可以通过调整神经网络本身来减少不确定性，或者输入数据是否只是噪声。