IBM研究人员培训AI遵循道德准则

近年来，人工智能算法已经非常擅长向用户推荐内容 - 你可能会说，这有点太好了。技术公司使用AI根据用户对内容的反应来优化他们的推荐。这对于提供内容的公司来说是好事，因为它会导致用户在应用程序上花费更多时间并产生更多收入。

但对公司有利的事情并不一定对用户有利。通常，我们想要看到的并不一定是我们应该看到的。但是，那些商业模式依赖于窃取我们越来越多的注意力的公司如何尊重道德规范，同时为用户提供优质内容?

为了应对这一挑战，IBM研究院的一个科学家团队与麻省理工学院媒体实验室合作开发了一种人工智能推荐技术，该技术在优化用户偏好的结果的同时，也确保其符合其他约束条件，例如道德规范和行为准则。在IBM Research的人工智能伦理全球领导者Francesca Rossi的带领下，科学家团队在电影推荐系统中展示了AI的功能，允许家长为孩子设定道德约束。

之前曾尝试将道德规则集成到AI算法中，但它们主要基于静态规则。例如，用户可以指定算法应该避免推荐的特定插座或新闻类别。虽然这种方法可以在某些环境中使用，但它有其局限性。

“定义明确的规则集很容易，” IBM研究员Nicholas Mattei说。“但是在互联网上的很多东西中，在拥有大量数据的地区，你不能总是写下你希望机器遵循的所有规则。”

为了解决这个问题，Mattei和他的同事开发的方法使用机器学习来通过实例来定义规则。“我们认为，通过实例学习什么是合适的，然后转移这种理解，同时仍然对在线奖励反应是一个非常有趣的技术问题，”Mattei说。

以身作则教授道德规范

研究人员选择电影推荐作为演示项目，因为相当多的电影相关数据已经存在，并且它是一个用户偏好和道德规范之间的差异清晰可见的领域。例如，父母不希望视频流服务向他们的孩子提供不适当的内容，即使他们的孩子对他们表现出积极的反应。

AI推荐技术使用两个不同的训练阶段。第一阶段发生离线，这意味着它发生在系统开始与最终用户交互之前。在此阶段，仲裁器给出系统示例，用于定义推荐引擎应遵守的约束。然后，AI会检查这些示例以及与它们相关的数据，以创建自己的道德规则。与所有机器学习系统一样，您提供的示例越多，数据越多，创建规则的效果就越好。

在电影推荐的情况下，在离线训练阶段，父母向AI提供一组适当和不适当内容的示例。“系统应该能够从这些例子中学习，并使用这些例子在与其他用户，孩子一起工作时不推荐某些类型的内容，”Mattei说。

培训的第二阶段在线与最终用户直接互动。与传统的推荐系统一样，AI试图通过针对用户的偏好优化其结果并显示用户更倾向于与之交互的内容来最大化其奖励。

由于满足道德约束和用户偏好有时可能是冲突的目标，仲裁者可以设置一个阈值，定义每个人获得多少优先级。在IBM提供的演示中，一个滑块允许父母选择道德原则和孩子的偏好之间的平衡。

很容易看出这个系统如何帮助解决与AI推荐系统工作方式相关的其他问题。IBM研究人员还在医疗保健中测试了该技术，他们使用该算法通过在测试环境中在药物成功变量和生活质量约束之间建立平衡来确定最佳药物剂量。

该团队还致力于改进系统可以训练的示例类型。研究小组的负责人罗西说：“我们还尝试了不仅是肯定/没有约束的例子，而是像优先事项那样的事情，这样我们就可以在提供道德行为示例方面更加清晰。”

并非没有限制

将来，研究团队将致力于使AI能够在更复杂的情况下工作。“在这个用例中，我们专注于单一建议，例如是否应该推荐特定的电影，”罗西说。“我们计划扩大这项工作，以便能够对行动序列施加限制。”

这样的改变将使算法能够解决其他类型的问题，例如滤泡泡和技术成瘾，其中一个无害的动作(例如检查手机上的通知或从有偏见的来源阅读新闻)在重复时会产生不利影响长期或与其他类似的行为相结合。

虽然Rossi和她的同事开发的方法在亲子或医患情况下表现良好，但在只涉及一个用户的环境中会遇到限制，这占我们在互联网上使用的大多数应用程序。在这种情况下，用户将负责定义他们自己的道德准则和约束。

“在一些更个性化的系统中，你可能能够表达一些高级别的想法，比如'我希望看到更多种类'或'我希望花更少的时间在手机上'，”Mattei说。“但如果你能表达它们，你也可以覆盖它们。你必须表达自己的美德并坚持下去。“

解决方案可能是让用户选择家庭成员的朋友来设置和控制规则，正如一些技术高管已经尝试过的那样。这可能是IBM研究团队在更广泛的工程道德推理项目中继续与麻省理工学院媒体实验室合作时所探讨的问题的一部分。

IBM研究人员将于7月17日在瑞典斯德哥尔摩举行的第27届国际人工智能联合会议上展示他们的算法。

Ben Dickson是一名软件工程师，也是TechTalks的创始人， TechTalks是一个博客，探讨技术解决和创造问题的方式。