研究人员以深度学习的名义展示了能源消耗的眩光

等一下 对地球而言，创建AI比汽车更糟?想想碳足迹。这就是马萨诸塞州阿默斯特大学的一个小组所做的。他们着手评估训练四个大型神经网络所需的能源消耗。

他们的论文目前正在引起技术观察网站的关注。由Emma Strubell，Ananya Ganesh和Andrew McCallum撰写的标题为“ NLP中深度学习的能源和政策注意事项”。

MIT Technology Review的人工智能记者Karen Hao说，这是对生命周期的评估，用于训练几种常见的大型AI模型。

研究人员说：“用于训练神经网络的硬件和方法的最新进展已经迎来了新一代的对大量数据进行训练的大型网络。”

你猜怎么着 训练AI模型会导致“沉重”的足迹吗?“有点重?” 怎么样?后者是MIT Technology Review在7月6日星期四报告的调查结果所选择的词。

深度学习涉及处理大量数据。(郝说，本文专门研究了自然语言处理的模型训练过程，这是AI的子领域，它专注于处理人类语言的教学机器。)《新科学家》杂志的Donna Lu引用了Strubell的话说：“为了学习一些东西和语言一样复杂，模型必须很大。” 哪些价格制定模型可以提高准确性?为此付出巨大的计算资源是代价，这会导致大量的能源消耗。

浩报告了他们的研究结果，即“过程可以发出超过626000磅的二氧化碳当量，近五倍的寿命排放量平均汽车(以及包括汽车本身的制造)。”

这些模型的培训和开发成本很高–在财务上由于硬件和电力或云计算时间的成本而在成本上昂贵，而在环境上则成本很高。环境成本归因于碳足迹。该论文试图“通过量化培训各种最近成功的NLP神经网络模型的财务和环境成本，来提请NLP研究人员注意此问题。”

他们如何进行测试：为了衡量对环境的影响，他们每天训练了四个AI，每天对它们进行一次能耗采样。他们通过将每个AI训练所需的总功率乘以每个模型的开发人员报告的总训练时间来计算。一个碳足迹基于在的电力生产中使用的平均碳排放量估计。

作者建议了什么?他们朝着减少NLP研究中的成本并“提高公平性”的建议方向发展。公平?作者提出了这个问题。

“学术研究人员需要公平地使用计算资源。可用计算的最新进展是以高昂的代价获得的，这并不是所有人都希望获得的。本文研究的大多数模型都是在学术界以外开发的;最新状态的改进得益于业界对大规模计算的访问，艺术准确性得以实现。”

作者指出：“将这种类型的研究限于行业实验室会在很多方面伤害NLP研究社区。” 创造力被扼杀。如果研究团队无法访问大规模计算，那么好的想法是不够的。

“其次，它禁止在获取财务资源的基础上进行某些类型的研究。这甚至更深地促进了本已存在问题的'富人致富'研究资金的周期，在这一周期中，已经成功并且因此资金充裕的团体倾向于获得资助。由于他们现有的成就，因此有更多的资金。”

作者说：“研究人员应该优先考虑具有计算效率的硬件和算法。” 有鉴于此，作者建议业界和学术界做出努力，以促进对计算效率更高的算法以及需要更少能源的硬件的研究。