基于数据的预测的解释是否真的增加了用户对AI的信任

近年来，许多人工智能(AI)和机器人技术研究人员一直在尝试开发可以为其动作或预测提供解释的系统。他们的工作背后的想法是，随着AI系统变得越来越广泛，可以解释为什么它们以特定的方式运行，或者为什么做出某些预测可以增加透明度，并因此提高用户对它们的信任度。

雷恩不列塔尼大西洋研究中心和图卢兹法国国家科学研究中心的研究人员最近进行了一项研究，对该假设进行了探索和质疑，希望能更好地理解AI的可解释性实际上如何影响用户对AI的信任。他们的论文发表在《自然机器智能》上，认为人工智能系统的解释实际上可能不像某些用户认为的那样真实或透明。

两位从事这项研究的研究人员Erwan Le Merrer和GillesTrédan告诉TechXplore：“本文源于我们渴望探索直觉的鸿沟。” “作为互动的人类，我们并不总是信任所提供的解释，但是作为计算机科学家，我们不断听到可解释性对于公众接受AI至关重要。尽管我们认识到在某些情况下AI的可解释性(例如，是一位在“白盒子”上工作的AI设计师)，我们希望从用户(即“黑盒子”)的角度来阐明其局限性。”

最近许多研究人员认为，机器学习算法和其他AI工具应该能够以类似于人类的方式来解释其决策背后的理由。另一方面，Le Merrer和Trédan认为，尽管AI解释可能在本地环境中具有价值，例如向尝试调试系统的开发人员提供有用的反馈，但它们可能在远程环境中具有欺骗性，而AI系统是由特定服务提供商进行培训和管理，因此其决策将通过第三方交付给用户。

Le Merrer和Trédan解释说：“用户对自己面临的决策的理解是采用基于AI的算法决策的核心社会问题。” “我们暴露出提供者的逻辑解释总是容易受到攻击(即谎言)，对于孤立的用户来说很难或不可能检测到。我们表明，功能和可能的攻击的空间非常大，因此，即使如果用户共谋发现问题，这些谎言仍然难以发现。”

为了更好地说明其想法背后的原因，Le Merrer和Trédan在夜总会外面用蹦蹦床类比，他们在向个别客户解释为什么拒绝他们进入门口时可能撒谎。类似地，研究人员建议，远程服务提供商可能会向用户说谎，说明人工智能的预测或动作背后的原因，例如，利用区分性功能。他们在论文中将这种并行性称为“保镖问题”。