一种新的可解释的人工智能范式可以增强人机协作

在过去的几十年中，人工智能(AI)方法变得越来越先进，在许多现实世界的任务中取得了显著成果。尽管如此，大多数现有的人工智能系统并没有与人类用户分享他们的分析和导致他们预测的步骤，这使得可靠地评估它们极具挑战性。

来自加州大学洛杉矶分校、加州大学圣地亚哥分校、北京大学和北京通用人工智能研究院(BIGAI)的一组研究人员最近开发了一种新的人工智能系统，可以向人类用户解释其决策过程。该系统在《科学机器人》杂志上发表的一篇论文中进行了介绍，它可能是朝着创建更可靠和更易于理解的人工智能迈出的新一步。

“可解释人工智能(XAI)领域旨在建立机器人和人类之间的协作信任，而DARPAXAI项目为推进该领域的研究提供了巨大的催化剂，”该论文的第一作者之一袁路耀博士，告诉TechXplore。“在DARPAXAI项目之初，研究团队主要专注于通过向用户揭示AI系统的决策过程来检查用于分类任务的模型;例如，某些模型可以可视化CNN模型的某些层，声称可以实现一定的XAI级别。”

袁博士和他的同事们参与了DARPAXAI项目，该项目专门针对开发新的和有前途的XAI系统。在参与该项目时，他们开始思考XAI在更广泛意义上的含义，特别是它可能对人机协作产生的影响。

该团队最近的论文建立在他们之前的一篇论文的基础上，该论文也发表在《科学机器人》上，该团队探讨了可解释系统在人机交互过程中对用户对人工智能的感知和信任可能产生的影响。在他们过去的研究中，该团队在物理上(即在现实世界中)实施并测试了一个人工智能系统，而在他们的新研究中，他们在模拟中对其进行了测试。

“我们的范式与DARPAXAI项目中团队提出的几乎所有范式形成鲜明对比，后者主要关注我们所谓的被动机器-主动用户范式，”该项目的主管之一朱一新教授告诉TechXplore。“在这些范例中，人类用户需要通过利用一些揭示人工智能模型潜在决策过程的模型来积极检查并试图弄清楚机器在做什么(因此是‘活跃用户’)。”

遵循朱教授所说的“被动机器-主动用户”范式的XAI系统要求用户不断与AI签到以了解其决策背后的过程。在这种情况下，用户对人工智能过程的理解和对其预测的信任不会影响人工智能未来的决策过程，这就是机器被称为“被动”的原因。

相比之下，袁博士、朱教授及其同事引入的新范式遵循了团队所说的主动机器-主动用户范式。这实质上意味着他们的系统可以根据用户即时收到的反馈主动学习和调整其决策。这种适应环境的能力是通常被称为第三波/下一波人工智能的特征。

“为了让人工智能系统像我们期望的那样帮助他们的用户，当前的系统要求用户按照专家定义的目标进行编码，”袁博士说。“这限制了人机协作的潜力，因为这样的目标在许多任务中很难定义，使得大多数人无法访问人工智能系统。为了解决这个问题，我们的工作使机器人能够在协作过程中估计用户的意图和价值实时，无需事先为机器人编写复杂和特定目标的代码，从而提供更好的人机协作范式。”

袁博士和他的同事们创建的系统的目标是达到所谓的“价值一致性”。这实质上意味着人类用户可以理解为什么机器人或机器以特定方式行动或得出特定结论，并且机器或机器人可以推断人类用户以特定方式行动的原因。这可以显着增强人机通信。

“这种双向性和实时性是该问题的最大挑战，也是我们贡献的亮点，”朱教授说。“综合以上几点，我想你现在应该明白为什么我们的论文题目是“原位双向人机价值对齐”了。

为了训练和测试他们的XAI系统，研究人员设计了一款名为“侦察探索”的游戏，在该游戏中，人类需要在团队中完成一项任务。这个游戏最重要的方面之一是人类和机器人需要调整他们所谓的“价值功能”。

童子军探索游戏的研究设计。时间线(A)表示在单轮游戏中发生的事件。时间线(B)和(C)分别描绘了机器人和用户的心理动态。图片来源：陈珍女士@BIGAI。

“在游戏中，一组机器人可以感知环境;这模拟了现实世界的应用，其中一组机器人应该自主工作，以最大限度地减少人为干预，”朱教授说。“然而，人类用户不能直接与环境交互;相反，用户被赋予了一个特定的价值函数，由几个因素的重要性表示(例如，完成时间的总时间，以及在旅途中收集的资源)。”

在侦察探索游戏中，机器人团队无法访问赋予人类用户的价值函数，他们需要对其进行推断。由于这个值不容易表达和传达，为了完成任务，机器人和人类团队必须相互推断。

“游戏中的交流是双向的：一方面，机器人向用户提出多个任务计划并解释每个任务的优缺点，另一方面，用户对建议进行反馈并对每个解释进行评分，”该论文的第一作者之一高晓峰博士告诉TechXplore。“这些双向通信实现了所谓的价值对齐。”

本质上，要完成“侦察探索”中的任务，机器人团队必须简单地根据人类的反馈了解人类用户的价值函数是什么。同时，人类用户学习机器人的当前价值估计，并可以提供帮助他们改进的反馈，并最终引导他们做出正确的反应。

“我们还将心智理论集成到我们的计算模型中，使人工智能系统能够生成适当的解释，以揭示其当前价值，并在交互过程中根据用户的反馈实时估计用户的价值，”高博士说。“然后我们进行了广泛的用户研究来评估我们的框架。”

在初步评估中，由袁博士、朱教授、高博士和他们的同事创建的系统取得了显着的效果，从而在童子军探索游戏中实现了动态和互动的价值观对齐。团队发现，机器人早在游戏进行到25%时就与人类用户的价值函数对齐，而用户可以在游戏进行到一半左右获得对机器价值函数的准确感知。

“(i)从机器人的价值到用户的真实价值，以及(ii)从用户对机器人价值的估计到机器人的当前价值，收敛配对形成了以用户真实价值为基础的双向价值对齐，”博士.袁说。“我们相信，我们的框架强调了构建智能机器的必要性，这些机器通过交互来学习和理解我们的意图和价值观，这对于避免小说和大银幕上描绘的许多反乌托邦科幻故事至关重要。”

这组研究人员最近的工作对专注于开发更易于理解的人工智能的研究领域做出了重大贡献。他们提出的系统可以作为创建其他XAI系统的灵感，在这些系统中，机器人或智能助手积极与人类互动，分享他们的流程并根据他们从用户那里收到的反馈提高他们的性能。

“价值对齐是我们迈向通用人机协作的第一步，”袁博士解释说。“在这项工作中，价值对齐发生在单个任务的背景下。但是，在许多情况下，一组代理在许多任务中进行合作。例如，我们希望一个家用机器人帮助我们完成许多日常琐事，而不是购买许多机器人，每个只能做一种工作。”

到目前为止，研究人员XAI系统已经取得了非常有希望的结果。在接下来的研究中，袁博士、朱教授、高博士和他们的同事计划探索可应用于许多不同现实世界任务的人机价值对齐实例，以便人类用户和AI代理可以积累他们在不同任务上协作时获得的有关彼此流程和能力的信息。

“在我们接下来的研究中，我们还寻求将我们的框架应用于更多的任务和物理机器人，”高博士说。“除了价值观之外，我们相信在人类和机器人之间协调心智模型的其他方面(例如，信念、欲望、意图)也将是一个有希望的方向。”

研究人员希望他们新的可解释人工智能范式将有助于加强人与机器在众多任务上的协作。此外，他们希望他们的方法能够增加人类对基于人工智能的系统的信任，包括智能助手、机器人、机器人和其他虚拟代理。

“例如，当Alexa或GoogleHome出错时，你可以纠正它;但下次使用它时，它会犯同样的错误，”朱教授补充道。“当你的Roomba去某个你不想让它去的地方并试图与之对抗时，它不会理解，因为它只遵循预先定义的AI逻辑。所有这些都禁止现代AI进入我们的家。作为第一个一步，我们的工作展示了解决这些问题的潜力，更接近于在第三次人工智能浪潮中实现DARPA所谓的‘情境适应’。”