研究人员衡量下一代AI的可靠性和信心

一支由陆军和工业研究人员组成的团队开发了一种神经网络度量标准，即可以根据人脑进行松散建模的计算系统，可以评估下一代人工智能和机器学习算法的可靠性和可信度。深度神经网络(DNN)是一种使用训练数据进行学习的机器学习形式。一旦接受培训，他们就可以在获得新的信息或输入时做出预测;但是，如果新信息超出其培训范围，它们很容易被欺骗。

研究人员说，鉴于培训数据中信息的多样性和潜在的新投入，提出解决方案具有挑战性。

美国陆军作战能力发展司令部陆军研究实验室的科学家Brian Jalaian博士说：“这为创建强大而有弹性的下一代算法提供了新的研究机会。” “我们的方法是通用的，可以使用基于基于可视图像的深度神经网络的现代机器学习算法，作为陆军许多现代算法的附加模块。”

贾拉安说，这一新的置信度指标将帮助陆军创建安全的机器学习技术，并将应用于指挥和控制系统，精确射击和决策支持系统。

自2018年以来，来自陆军和SRI International的研究人员通过实验室的``战地事物协作研究联盟''互联网，研究了强化陆军机器学习算法的方法，以提供更高的可靠性和安全性，并降低对抗性机器学习技术的敏感性。

研究人员在2019年的神经信息处理系统大会上发表了他们的论文《深度神经网络的基于归因的置信度指标》。

贾拉安说：“虽然我们取得了一些成功，但我们没有一种方法来检测最强大的最新攻击，例如(对抗性)补丁，这些攻击会给图像增加噪音，从而导致错误的预测。” “在这项工作中，我们提出了一个生成模型，该模型可以调整底层原始深层神经网络中原始输入图像的各个方面。然后评估原始深层神经网络对这些生成的输入的响应，以测量模型的一致性。”

Jalaian说，这与现有的研究机构不同，因为它不需要访问训练数据，不需要使用集成程序，也不需要在与训练集不同的验证数据集上训练校准模型。

在陆军内部，研究人员继续与测试和评估社区合作，开发容器化算法，以衡量各种算法在不同应用程序中的置信度。

贾拉安(Jalaian)表示，他们正在探索可用于改进陆军AI系统对抗对抗操作的生成模型的各种变化，并研究从理论上和经验上都可以在小型智能设备中执行的神经网络模型的弹性，例如是《战地物联网》的一部分。