亚马逊研究人员的方法可以更快地为AI分类器添加类

分类器是现代机器学习的主要内容。简而言之，他们按类型对输入数据(照片，视频，对象和录音)进行分类，并且非常有效地完成。但是，当分类器需要新类(即新类别)时会出现问题。甚至添加一个新类传统上是艰巨的，涉及大量的数据收集和模型再培训。

但亚马逊Alexa研究部门的科学家表示，不一定非要这样。

在一篇新的博客文章和随附的论文(“ 使用源模型和目标数据进行序列标记的转移学习”)中，亚马逊的Alexa部门的研究人员描述了一种仅使用新类的训练数据来更新分类器的方法。他们说，这表明可以将AI系统及其学习参数(用于控制模型某些属性的值)转移到一个训练有素的新系统来识别另一个类。

Alexa Search团队的首席科学家亚历山德罗•莫斯基蒂(Alessandro Moschitti)写道：“将现有网络适应新数据类的问题一般都很有意思，但这对Alexa来说尤为重要。” “Alexa的科学家和工程师为Alexa的核心功能投入了大量的精力，但通过Alexa技能套件，我们还让第三方开发人员能够建立自己的Alexa技能--70,000并计算。我们在新论文中研究的适应类型 - 或“转移学习”将使第三方开发人员可以直接使用我们的内部系统而无需访问内部培训数据。

在他们的研究过程中，该团队着手为神经网络添加一个类 - 在大脑中的神经元模拟的数学函数层 - 训练以识别在线新闻文章中的人和组织。他们保留了原始分类器，但是通过一个单独的网络传递了它的输出 - 一个“神经适配器” - 它们的输出被输入到第二个并行分类器中，该分类器训练有关新类的数据。最后，他们将适配器和新分类器一起训练。

结果：一个新的位置分类网络，通过人员和组织分类网络及其参数进行培训。

该团队测试了两种网络架构，其中一种具有条件随机场(CRF) - 一种常用于模式识别并用于结构化预测的统计建模方法。此外，他们尝试了两种不同的转移学习方法：一种依赖于上述神经适配器，另一种是扩展训练的分类器的功能输出层的大小以及紧接其下方的功能层。

最后，他们发现具有CRF的AI系统在原始数据上保持高精度 - 91.08%% - 并且在新数据上实现了90.73%%的准确性。

“我们的实验......表明......当目标数据包含新类别时，源模型中的学到的知识可以有效地转移，”Moschitti及其同事写道，“并且......我们的神经适配器进一步改善了这种转移。