语音助手对非本地口音和语言的理解很差

在预印服务器Arxiv.org上发表的一篇论文中，都柏林大学的研究人员调查了非本地英语用户与本地用户相比如何体验语音助手(特别是Google助手)。通过确定在整个实验过程中使用的两组说话者之间命令之间的语义和风格差异，合著者说，他们的工作表明扩大研究人员范围的重要性，以确保在设计助手时考虑到包容性。

越来越多的研究表明，包括Siri，Alexa和Google Assistant在内的语音助手对非本地口音和语言的理解很差。一个华盛顿邮报-commissioned研究发表在2018年7月发现，谁讲西班牙语作为第一语言的人都理解6%，通常少于英语母语谁各地加利福尼亚州或华盛顿长大。最近，在一个测试通过语音识别测试实验室进行发声，Siri的和Alexa都无法理解扬声器中国口音的时间22%。

都柏林的研究人员通过电子邮件从欧洲大学招募了32名参与者，其中16名以英语为母语的人，其余16名以普通话为母语的人。两个小组都被要求完成12个任务，包括播放音乐，设置闹钟，转换值，在特定位置询问时间，控制设备音量以及使用智能手机和智能扬声器通过Google Assistant请求天气信息。与这两种设备进行交互之后，受试者参加了一次访谈，重点是对语音助手的一般看法，在实验中使用语音助手的经验以及对他们如何与每个系统交谈的思考。

研究人员说，无论使用哪种设备，使用Google Assistant时，母语使用者和非母语使用者的体验都会出现“明显差异”：

当与助手进行互动时，以英语为母语的人优先考虑声音的清晰度，简洁性和计划性，而以非母语的人为基础，他们会根据自己是否知道某个特定单词来更改词汇。

非母语的人对其发音很敏感，或者在互动过程中需要检索正确的单词。他们经常感到自己在努力唤醒Google Assistant。

非母语人士还建议他们有时需要额外的时间来表达句子，而助手没有考虑到这一点，助手会在完成请求之前重新设置或插入。相比之下，母语为母语的人则认为与助理交谈和响应之间的时间间隔太长，这使他们怀疑助理是否工作正常。

非母语人士说，基于屏幕的反馈对于支持他们的体验非常重要。例如，发现智能手机屏幕上播放的语音识别转录可以帮助增强说话者对助手的识别能力的信心，同时还能指出助手不理解某些内容的原因。

这些发现并不完全是令人震惊的-语音的语言差异多年来困扰着算法。(最近的一项研究发现，使用苏格兰语的人对YouTube的自动字幕制作要比美国南方人语更为糟糕。)但是，这使诸如谷歌这样的公司面临的技术难题缓解了，这些公司已经售出了数千万个智能扬声器，但这些技术难题尚待克服。

根据参与者的反应，研究人员得出结论，如果系统知道先前尝试说出命令的声音，语音助手可能会为非母语人士提供更好的体验。研究人员说，在识别出命令的意图但名词不被识别的情况下，助手也可以提供上下文线索，或者使用启动关键字和结构来帮助用户重新定义命令。

“我们的[结果]强调了……说话者与[助手]互动之间的一些重要区别。该研究的合著者写道：[母语]的人强调简洁和简短的话语的重要性[而非母语的人似乎在很大程度上将潜在的互动失败的负担加在自己身上，因为他们的发音和缺乏语言知识是严重的障碍。“ 。“ [语音助手]的未来设计应在系统将用户识别为非母语使用者的情况下定制体验，并应更深入地探索定制体验的方法。如果不进行这些更改，[非母语人士]可能会更容易放弃[助手]使用。”

谷歌发言人在一份声明中告诉VentureBeat，该公司“致力于在这一领域取得进展”，并且它已经开发了开源工具和数据集，以帮助识别和消除语音识别模型的偏见。发言人说：“公平是我们AI的核心原则之一……多年来，我们一直在努力准确地识别语音变化，这一挑战将继续下去。”