二值化神经网络显示出快速准确的机器学习的希望

众所周知，修剪可以促进植被的蓬勃发展。在这里剪一剪，在那里剪一剪，可以控制和引导生长，使植物更有活力。相同的原理可以应用于机器学习算法。沿这些算法中的编码分支删除位和片段可以降低决策树的复杂性并提高预测性能。

美国能源部太平洋西北国家实验室(PNNL)的研究人员正是这样做的。通过二值化神经网络(BNN)的探索，他们使用修剪原理来显着降低计算复杂性和内存需求。BNN是深度神经网络的近亲，需要大量的计算。但是BNN的显着差异是：它们使用单​​个位对每个神经元和参数进行编码，而使用的能量和功率却少得多。

修剪以加快增长

研究人员认识到，从2016年左右开始，BNN在机器学习中的潜在价值。如果以正确的方式构建或修剪BNN，它们将消耗更少的计算能量，并且几乎与深度神经网络一样精确。这意味着BNN更有潜力受益于资源受限的环境，例如手机，智能设备和整个物联网生态系统。

这是修剪起作用的地方。随着近年来神经网络研究的发展，修剪已引起计算机研究人员的更多兴趣。

PNNL计算机科学家Ang Li说：“修剪目前是机器学习中的热门话题。” “我们可以添加软件和架构编码，以将修整推向一个对计算设备的性能有更多好处的方向。这些好处包括更低的能源需求和更低的计算成本。”

PNNL计算机科学家Ang Li表示，随着近年来神经网络研究的发展，修剪已引起计算机研究人员的更多兴趣。图片提供：Andrea Starr | 太平洋西北国家实验室

Li是一组PNNL研究人员之一，最近他们在电气与电子工程师协会关于并行和分布式系统的交易中发表了研究结果，显示了选择性修剪的好处。研究表明，修剪BNN架构的冗余位会导致定制的乱序BNN，称为O3BNN-R。他们的工作显示了高度浓缩的BNN模型-已经可以显示高性能的超级计算质量-可以在不损失准确性的情况下进一步缩小。

波士顿大学的博士生Tong“ Tony” Geng说，“二元神经网络有可能使神经网络的处理时间达到微秒左右。”他是PNNL实习生，他协助Li参与了O3BNN-R项目。

Geng说：“ BNN的研究朝着使神经网络真正有用并易于在现实世界中被采用的有前途的方向发展。” Geng将于1月份重新加入PNNL的工作，担任博士后研究员。“我们的发现是实现这一潜力的重要一步。”

他们的研究表明，这种乱序的BNN可以平均减少30%的操作，而不会造成任何准确性损失。通过进行更精细的调整(称为“训练中的常规化”)，可以将性能再提高15%。