早起的鸟儿使用的能量少10倍来训练深度神经网络

赖斯大学的“早起的鸟儿”对蠕虫的关心较少。它正在寻找数百万吨的温室气体排放量。Early Bird是一种用于培训深度神经网络(DNN)，无人驾驶汽车背后的人工智能(AI)形式，智能助手，面部识别以及许多其他高科技应用的节能方法。

赖斯大学和得克萨斯州A&M大学的研究人员于4月29日在国际学习代表大会ICLR 2020上的聚焦论文中宣布了《早起的鸟儿》。赖斯高效和智能计算(EIC)实验室的主要作者尤浩然和李朝建的一项研究表明，“早起的鸟儿”可以将DNN训练到相同的准确性水平或比典型训练更好地节省了10.7倍的能量。EIC实验室的负责人Lin Yingyan以及Rice的Richard Baraniuk和Texas A&M的Zhangyang Wang共同领导了这项研究。

Lin说：“最近AI突破的主要动力是引入更大，更昂贵的DNN。” “但是培训这些DNN需要大量的精力。要揭示更多的创新，必须找到既能解决环境问题又能减少AI研究的财务障碍的'绿色'培训方法。”

培训最先进的DNN不仅成本高昂，而且越来越昂贵。一个2019研究由艾伦研究所AI在西雅图发现，培养第一流的所需的计算数量深层神经网络增加了30万次2012年至2018年之间，以及不同的研究2019在美国麻省大学的研究人员发现，碳训练单个精英DNN的足迹大约等于五辆美国汽车的终身二氧化碳排放量。

DNN包含数百万甚至数十亿个学会执行专门任务的人工神经元。无需任何明确的编程，人造神经元的深层网络就可以通过“研究”大量先前的示例来学习做出类似人的决定，甚至胜过人类专家。例如，如果DNN研究猫和狗的照片，它就会学会识别猫和狗。经过深入研究的棋盘游戏Go的深层网络AlphaGo在研究了成千上万的先前玩过的游戏之后，在2015年击败了职业人类玩家。

赖斯布朗工程学院的电气和计算机工程助理教授林说：“进行DNN培训的最先进方法被称为渐进式修剪和培训。” “首先，您要训练密集的大型网络，然后删除不重要的部分(例如修剪树)。然后，对修剪的网络进行再培训以恢复性能，因为修剪后性能会下降。在实践中，您需要修剪和再培训很多次以获得良好的性能。”

修剪是可能的，因为网络中只有一小部分人造神经元可以潜在地完成专门任务的工作。训练会加强必要神经元之间的联系，并揭示哪些神经元可以被修剪掉。修剪可减少模型大小和计算成本，从而使部署完全受训的DNN更加经济实惠，尤其是在内存和处理能力有限的小型设备上。

林说：“第一步，训练密集，庞大的网络是最昂贵的。” “我们在这项工作中的想法是在这个昂贵的第一步的开始阶段，确定最终的，功能齐全的修剪网络，我们将其称为“早鸟票”。

通过在培训的早期寻找关键的网络连接模式，Lin和同事们既发现了早鸟票的存在，又使用它们简化了DNN培训。在对各种基准数据集和DNN模型进行的实验中，Lin及其同事发现，“早起的鸟儿”在训练初期可能只出现十分之一或更少的时间。

林说：“我们的方法可以在密集的巨型网络训练的前10%或更少的时间内自动识别早鸟票。” “这意味着您可以训练DNN，以给定任务在大约传统训练所需时间的10%或更少的时间内达到相同或什至更好的精度，这可以节省大量的计算和能源。”