将可解释性构建到机器学习模型的组件中

帮助用户理解和信任机器学习模型的解释方法通常描述了模型中使用的某些特征对其预测的贡献程度。例如，如果模型预测患者患心脏病的风险，医生可能想知道患者的心率数据对该预测的影响程度。

但是，如果这些功能太复杂或令人费解，以至于用户无法理解它们，那么解释方法是否有用?

麻省理工学院的研究人员正在努力提高特征的可解释性，以便决策者更愿意使用机器学习模型的输出。利用多年的实地工作，他们开发了一种分类法来帮助开发人员制作更容易让目标受众理解的功能。

“我们发现，在现实世界中，即使我们使用最先进的方法来解释机器学习模型，仍然存在很多源于特征的混淆，而不是模型本身，”说Alexandra Zytek，电气工程和计算机科学博士。学生和介绍分类法的论文的主要作者。

为了建立分类，研究人员定义了特性，使五种类型的用户可以解释特征，从人工智能专家到受机器学习模型预测影响的人。他们还提供了关于模型创建者如何将特征转换为外行更容易理解的格式的说明。

他们希望他们的工作能够激发模型构建者从开发过程的一开始就考虑使用可解释的特征，而不是试图向后工作并在事后专注于可解释性。

麻省理工学院的合著者包括博士后刘冬雨;IRD 研究主任 Laure Berti-Équille 客座教授;和资深作者 Kalyan Veeramachaneni，信息和决策系统实验室 (LIDS) 的首席研究科学家和数据到 AI 小组的负责人。Corelight 的首席数据科学家 Ignacio Arnaldo 也加入了他们的行列。该研究发表在 6 月版的计算机协会知识发现和数据挖掘特别兴趣小组的同行评审探索通讯上。

真实世界的课程

特征是输入机器学习模型的变量;它们通常是从数据集中的列中提取的。Veeramachaneni 解释说，数据科学家通常为模型选择和手工制作特征，他们主要关注确保开发特征以提高模型准确性，而不是决策者是否能够理解它们。

几年来，他和他的团队一直在与决策者合作，以确定机器学习的可用性挑战。这些领域专家，其中大多数缺乏机器学习知识，通常不信任模型，因为他们不了解影响预测的特征。

在一个项目中，他们与医院 ICU 的临床医生合作，他们使用机器学习来预测患者在心脏手术后面临并发症的风险。一些特征以聚合值的形式呈现，例如患者心率随时间的趋势。虽然以这种方式编码的特征是“模型就绪”(模型可以处理数据)，但临床医生并不了解它们是如何计算的。刘说，他们宁愿看到这些聚合特征与原始值之间的关系，这样他们就可以识别患者心率的异常。

相比之下，一组学习科学家更喜欢聚合的特征。与其拥有“学生在论坛上发表的帖子数量”之类的功能，他们更愿意将相关的功能组合在一起，并用他们理解的术语进行标记，例如“参与”。

“对于可解释性，一种尺寸并不适合所有人。当你从一个区域到另一个区域时，会有不同的需求。可解释性本身有很多层次，”Veeramacheneni 说。

一种尺寸并不适合所有人的想法是研究人员分类的关键。他们定义了可以使不同决策者或多或少地解释特征的属性，并概述了哪些属性可能对特定用户最重要。

例如，机器学习开发人员可能专注于具有与模型兼容和预测的功能，这意味着他们有望提高模型的性能。

另一方面，没有机器学习经验的决策者可能会更好地使用人性化的功能，这意味着它们以对用户来说自然且易于理解的方式进行描述，这意味着它们指的是真实世界的指标用户可以推理。

“分类法说，如果你正在制作可解释的特征，它们可以解释到什么级别?你可能不需要所有级别，这取决于与你合作的领域专家的类型，”Zytek 说。

将可解释性放在首位

研究人员还概述了开发人员可以采用的特征工程技术，以使特征对特定受众更具可解释性。

特征工程是数据科学家使用聚合数据或标准化值等技术将数据转换为机器学习模型可以处理的格式的过程。大多数模型也无法处理分类数据，除非它们被转换为数字代码。对于外行来说，这些转变通常几乎是不可能的。

Zytek 说，创建可解释的特征可能涉及撤消一些编码。例如，一种常见的特征工程技术组织数据跨度，因此它们都包含相同的年数。为了使这些特征更易于解释，可以使用人类术语对年龄范围进行分组，例如婴儿、幼儿、儿童和青少年。或者，与其使用平均脉搏率这样的转换特征，可解释的特征可能只是实际的脉搏率数据，刘补充道。

“在很多领域，可解释特征和模型准确性之间的权衡实际上非常小。例如，当我们与儿童福利筛查人员合作时，我们只使用符合我们对可解释性定义的特征重新训练模型，结果性能下降几乎可以忽略不计，”Zytek 说。

在这项工作的基础上，研究人员正在开发一个系统，使模型开发人员能够以更有效的方式处理复杂的特征转换，从而为机器学习模型创建以人为本的解释。这个新系统还将旨在解释模型就绪数据集的算法转换为决策者可以理解的格式。