缩小用于建模语言的大规模神经网络

乔纳森·弗兰克(Jonathan Frankle)正在研究人工智能，而不是开心果，但同样的哲学也适用于他的“彩票假设”。它假定，隐藏在大规模神经网络中的精益子网可以更有效地完成相同的任务。诀窍是找到那些被称为中奖彩票的“幸运”子网。

在一篇新论文中，Frankle及其同事发现了潜伏在BERT中的此类子网，BERT是一种用于自然语言处理(NLP)的先进神经网络方法。作为人工智能的一个分支，NLP旨在通过预测文本生成或在线聊天机器人等应用程序来解密和分析人类语言。在计算方面，BERT体积庞大，通常需要大多数用户无法获得的超级计算能力。可以使用BERT的中奖彩票，可以公平竞争，从而可能使更多用户在智能手机上开发有效的NLP工具，而无需使用大锤。

弗兰克勒说：“我们正在达到必须使这些模型更精简，更高效的地步。”他补充说，这一进步有一天可能会“减少NLP的准入门槛”。

Frankle博士 该研究的共同作者是麻省理工学院计算机科学与人工智能实验室的迈克尔·卡宾小组的学生，该研究将于下个月在神经信息处理系统会议上发表。德克萨斯大学奥斯汀分校的陈天龙是该论文的主要作者，其中包括得克萨斯州A&M的合作者Wang Zhangyang Wang，以及所有MIT-IBM Watson AI Lab的常石宇，刘思佳和张扬。

您今天可能已经与BERT网络进行了互动。这是Google搜索引擎的基础技术之一，自Google于2018年发布BERT以来，它一直引起研究人员的兴奋。BERT是一种创建神经网络的方法，即使用分层节点或“神经元”的算法来学习执行神经网络。通过培训大量实例来完成任务。BERT是通过反复尝试填写写作段落中遗漏的单词来进行训练的，它的功能在于此初始训练数据集的庞大大小。然后，用户可以将BERT的神经网络微调至特定任务，例如构建客户服务聊天机器人。但是争吵的BERT需要大量的处理能力。