商业云服务提供商推动人工智能计算的发展

神经网络为研究人员提供了一个强大的工具，可以用来展望未来并做出预测。但是一个缺点是他们对处理所有这些信息的数据和计算能力(“计算”)的无限需求。在麻省理工学院，对计算的需求估计是研究所提供的需求的五倍。为了缓解这种紧缩，行业介入了。IBM最近捐赠的一台价值1160万美元的超级计算机于今年秋天上线，并且在过去的一年中，IBM和Google都向MIT Quest for Intelligence提供了云信用额度，以便在整个校园内分发。下面重点介绍了IBM和Google云捐赠促成的四个项目。

较小，更快，更智能的神经网络

为了识别图片中的猫，深度学习模型可能需要先查看数百万张照片，然后人工神经元才能“学习”以识别猫。正如试图衡量人工智能(AI)碳足迹的新研究突出显示的那样，该过程需要大量的计算，并且会带来巨大的环境成本。

但是可能有一种更有效的方法。麻省理工学院的最新研究表明，仅需模型的一小部分即可。麻省理工学院电气工程与计算机科学系(EECS)的研究生乔纳森·弗兰克(Jonathan Frankle)说：“培训一个大型网络时，只有一个小型网络可以完成所有工作。”

在研究合著者和EECS教授迈克尔·卡宾(Michael Carbin)的指导下，弗兰克勒(Frankle)估计，如果一开始就找到正确的子网，那么神经网络的连接数将减少十倍。通常，在训练过程之后修剪神经网络，然后删除不相关的连接。弗兰克勒想知道，为什么不训练这种小型模型呢?

弗兰克勒(Frankle)在他的笔记本电脑上进行了两个神经元网络的试验，结果令人鼓舞，并转向MNIST和CIFAR-10等较大的图像数据集，并尽可能借用了GPU。最后，通过IBM Cloud，他确保了足够的计算能力来训练真实的ResNet模型。他说：“我以前所做的一切都是玩具实验。” “我终于能够运行许多不同的设置，以确保可以在我们的论文中提出主张。”

弗兰克勒(Frankle)在Facebook办公室讲话，他在夏季工作，探索他的彩票假说论文提出的想法，该论文是在今年的国际学习代表大会上获得最佳论文奖的两个人之一。弗兰克勒说，这项工作的潜在应用超越了图像分类，还包括强化学习和自然语言处理模型。Facebook AI Research，普林斯顿大学和Uber的研究人员已经发表了后续研究。