研究人员发现AI语言技术中的定型观念的起源

一组研究人员已经确定了一套文化定型观念，并将其引入到语言开发的人工智能模型中，这一发现加深了我们对影响搜索引擎和其他AI驱动工具产生的结果的因素的理解。

“我们的工作确定了人们在学习英语时会广泛使用的AI语言模型的刻板印象。我们正在寻找的模型以及其他语言的模型，是大多数现代语言技术的基础，从翻译系统到回答问题的行业工具个人助理进行简历筛选，突显了当前使用这些技术所造成的真正危险，”纽约大学语言学系和数据科学中心助理教授山姆·鲍曼(Sam Bowman)说，作者。“我们希望这项工作和相关项目将鼓励未来的研究，以建立更公平的语言处理系统。”

这项工作与最近的奖学金相吻合，例如Safiya Umoja Noble的“压迫算法：搜索引擎如何增强种族主义”(纽约大学出版社，2018年)，它记录了种族和其他偏见如何困扰广泛使用的语言技术。

该论文的其他作者是纽约大学数据科学中心的博士候选人Nikita Nangia，纽约大学数据科学中心的博士后研究员Clara Vania和纽约大学坦登工程学院的博士候选人Rasika Bhalerao。

“事实证明，“仇恨言论”检测器偏向于非裔美国白话英语，事实证明，自动聘用决策偏向于支持现状，自动文本生成器很容易被诱骗输出种族主义言论，巴拉勒劳(Bhalerao)说，指的是以前的相关研究。

Nangia补充说：“通过量化语言模型中的偏差，我们可以从根本上识别和解决问题，而不是从头开始。”

这项工作在2020年自然语言处理经验方法会议论文集中进行了描述。

近年来，应用语言理解技术的进步主要是由通用语言表示模型的使用推动的，该模型通过将它们暴露于大量的互联网文本中进行训练。这些模型在培训过程中学习了大量关于语言的知识，但是他们在学习语言的同时也学习了语言，从而从人们的写作中了解了世界的运作方式。这使系统在典型的AI基准上表现良好，但也引起了一些问题：“尽管我们在使用这些模型方面看到了很多进步，但这些模型还获得了反映在数据中的社会偏见，” Vania解释说。“当这些模型用于决策时，这将是有害的，尤其是当它们用于 要求对一些描述有色人种的文字或任何其他面临广泛刻板印象的社会群体做出决定。在这里，我们专注于隔离和衡量语言模型中特定类型的陈规定型观念，但是在减轻这些偏见以及识别和减轻类似系统加强不平等的其他方式方面，还有许多工作要做。”