Apple的HomePod如何使用AI和6个麦克风来听取用户的环境噪音

Apple的HomePod并没有因其集成数字助理Siri的功能而受到太多赞誉，但它确实有一个不可否认的令人印象深刻的功能：能够准确地听到来自房间的用户命令，尽管嘈杂的音乐，对话或电视干扰音频。正如该公司的机器学习期刊今天解释的那样，HomePod正在利用AI来持续监控六个麦克风阵列，使用从深度学习模型中获得的知识处理差分输入。

识别用户命令而不是环境噪声的最大挑战之一是克服HomePod本身：Apple的扬声器可以以非常高的音量执行，其麦克风紧邻噪声源。因此，该公司解释说，没有办法从麦克风中完全删除HomePod自己的音频 - 只是其中的一部分。

相反，Apple使用实际的回声录音来训练HomePod专用扬声器和振动回声的深度神经网络，创建一个独特的能够抵消HomePod自身声音的残余回声抑制系统。它还应用特定于房间特征的混响消除模型，由扬声器连续测量。

另一个有趣的技巧是使用波束成形来确定说话用户所在的位置，将麦克风聚焦在该人身上，并应用声音掩蔽来滤除其他来源的噪音。Apple构建了一个系统，该系统仅根据麦克风的当前和过去信号对本地语音和噪声统计进行判断，在尝试消除干扰时关注语音。然后，它使用从扩散到定向，语音到噪声的各种常见噪声训练神经网络，使得滤波可以应用于大量干扰源。

HomePod的另一个令人印象深刻的功能是确定多个说话人员中哪一个是命令的正确目标，控制波束形成麦克风并隔离噪声。一个技巧是使用所需的“Hey Siri”触发短语来确定命令的来源和位置，但Apple还开发了将竞争对手分成单个音频流的技术，然后使用深度学习来猜测哪个讲话者正在发出命令，仅发送命令该流专注于该讲话者进行处理。

机器学习期刊的入门很好地突出了AI辅助语音处理技术的必要性，但不足以保证远场数字助理的良好体验。虽然上述所有技术确实可以产生快速，可靠和准确的Siri触发，但HomePod实际上对请求做出充分响应的能力有限，这是评论中经常出现投诉的目标。如果有任何好消息，那就是问题似乎出现在Siri的基于云的大脑而不是HomePod的硬件或本地运行的服务中，因此服务器端补丁可以显着改善设备的功能，而无需用户购买新硬件。