新框架使AI系统更加透明而不牺牲性能

研究人员正在提出一个人工智能(AI)框架，该框架将允许用户了解AI决策背后的原理。考虑到要远离“黑匣子”人工智能系统，尤其是在和执法部门等需要证明决策依据的部门，这项工作意义重大。

该论文的第一作者，北卡罗来纳州立大学计算机工程学助理教授吴天福说：“使我们的框架与众不同的是，我们将这些可解释性要素纳入了AI培训过程。”

“例如，在我们的框架下，当一个AI程序学习如何识别图像中的对象时，它也在学习定位图像中的目标对象，并解析满足目标对象标准的局部性。然后将这些信息与结果一起显示。”

在概念验证实验中，研究人员将框架整合到了广泛使用的R-CNN AI对象识别系统中。然后，他们在两个完善的基准数据集上运行该系统。

研究人员发现，将可解释性框架整合到AI系统中，无论从时间还是准确性上都不会损害系统的性能。

Wu说：“我们认为这是实现完全透明的AI的重要一步。” “但是，仍有一些悬而未决的问题要解决。

“例如，该框架目前已通过AI向我们显示了一个对象的位置，这些图像被认为是目标对象的特征。那是定性的。我们正在研究使这种定量化的方法，置信度得分进入过程。”