如何保护AI系统免受对抗性机器学习

随着机器学习的日益普及，使专家担心的一件事是该技术将带来的安全威胁。我们仍在探索各种可能性：自动驾驶系统的故障?来自深度神经网络的敏感数据的不明显的窃取?基于深度学习的生物特征认证失败?内容审核算法的微妙绕过?

同时，机器学习算法已经进入金融，医疗保健和运输等关键领域，在这些领域中，安全失败可能会造成严重影响。

在不同领域中越来越多地采用机器学习算法的同时，人们对对抗性机器学习的兴趣也日益增长，这是研究如何损害学习算法的研究领域。

现在，我们终于有了一个框架来检测和响应针对机器学习系统的对抗攻击。该框架称为Adversarial ML威胁矩阵，是Microsoft，IBM，Nvidia和MITRE等13个组织的AI研究人员共同努力的结果。

虽然ML Threat Matrix仍处于早期阶段，但它提供了一个综合视图，可了解恶意行为者如何利用机器学习算法的弱点来针对使用它们的组织。它的关键信息是对抗性机器学习的威胁是真实存在的，组织应立即采取行动以保护其AI系统。

将ATT&CK应用于机器学习

对抗性ML威胁矩阵以ATT&CK的样式呈现，ATT&CK是由MITER开发的经过测试的框架，用于处理企业网络中的网络威胁。ATT&CK提供了一个表格，总结了不同的对抗策略以及威胁行为者在每个区域执行的技术类型。

自成立以来，ATT&CK已成为网络安全专家和威胁分析人员发现弱点并推测可能的攻击的流行指南。对抗性ML威胁矩阵的ATT&CK格式使安全分析人员更容易理解机器学习系统的威胁。对于不熟悉网络安全操作的机器学习工程师，它也是一个可访问的文档。