研究人员开发了开源工具来检查AI系统中的数据泄漏

许多智能手机应用程序(例如语音转文本程序和Google Assistant)都由人工智能(AI)提供支持。公司还使用AI改善营销策略，向用户推荐产品和服务，甚至生成有关患者可能的健康风险的预测。

为了使AI系统能够提供此类见解，它们需要接受相关数据的培训，例如个人的购买习惯或医疗记录，其中可能包含有关个人的敏感信息。一旦训练了AI模型，它就不会保留任何原始训练数据。这样可以确保即使黑客撬开这些AI程序的内部功能，他们也不会收获任何敏感信息。

但是，近年来，安全和隐私研究人员表明，AI模型易受推理攻击的攻击，使黑客能够提取有关训练数据的敏感信息。攻击涉及黑客反复要求AI服务生成信息并分析数据的模式。一旦确定了模式，他们就可以推断出是否使用特定类型的数据来训练AI程序。使用这些攻击，黑客甚至可以重建最有可能用于训练AI引擎的原始数据集。

这种攻击正成为全球许多组织关注的问题。例如，2009年，美国国立卫生研究院(NIH)发生了类似的攻击，NIH必须更改其对敏感医学数据的访问策略。

新加坡国立大学计算机学院(NUS Computing)的助理教授Reza Shokri解释说：“由于系统仅假设黑客在提供信息时是常规用户，因此难以检测到推理攻击。因此，公司目前无法知道他们的AI服务是否有风险，因为目前没有现成的成熟工具。”

机器学习隐私权评估仪评估攻击风险

为了解决这个问题，同时也是国大总统年轻教授的Shokri教授及其团队开发了一种成熟的开源工具，可以帮助公司确定其AI服务是否易受此类推理攻击。该分析基于所谓的成员资格推断攻击，旨在确定特定数据记录是否为模型训练数据的一部分。通过模拟这样的攻击，隐私分析算法可以量化模型在其训练集中有关各个数据记录泄漏的程度。这反映了尝试完全或部分重建数据集的不同攻击的风险。它会生成大量报告，尤其是在所使用的培训数据中突出显示脆弱区域。