概念美白一种提高图像识别模型可解释性的策略

在过去的十年左右的时间里，深度神经网络在包括图像识别任务在内的各种任务上都取得了非常有希望的结果。尽管它们具有优势，但它们却非常复杂和复杂，这使得解释他们学到的知识以及确定其预测背后的过程变得困难甚至有时是不可能的。缺乏可解释性使得深度神经网络有些不可信任且不可靠。

由Cynthia Rudin教授领导的杜克大学预测分析实验室的研究人员最近设计了一种可以改善深度神经网络的可解释性的技术。这种方法称为概念美白(CW)，最早是在《自然机器智能》上发表的一篇论文中介绍的。

“我们没有进行事后分析来查看NN的隐藏层，而是直接更改NN来使潜空间解开，以便使轴与已知概念对齐，”进行这项研究的研究人员之一陈智，告诉Tech Xplore。“这种纠缠可以使我们对网络如何逐步学习层上的概念有了更清晰的了解。它还集中了有关一个概念(例如“灯”，“床”或“人”)的所有信息，仅通过一个神经元;这就是解缠的意思。”

最初，Rudin和她的同事们设计的技术解开了神经网络的潜在空间，使它的轴与已知概念对齐。从本质上讲，它执行“白化转换”，类似于将信号转换为白噪声的方式。此转换对潜在空间进行去相关。随后，旋转矩阵从战略上将不同的概念与轴进行匹配，而无需反转该去相关性。