机器学习需要大量精力为什么AI如此耗电

本月，谷歌因对该公司撤回研究论文表示不满，迫使该公司退出了一位著名的AI伦理研究人员。本文指出了语言处理人工智能的风险，在Google搜索和其他文本分析产品中使用的类型。

开发此类AI技术的巨大风险是其中的风险。据一些估计，训练一个AI模型产生的碳排放量与建造和驾驶五辆汽车在其整个生命周期中所需的碳排放量一样多。

我是一名研究和开发AI模型的研究员，而且我对AI研究的飞速发展的能源和财务成本非常熟悉。为什么AI模型变得如此耗电，它们与传统数据中心计算有何不同?

今天的培训效率低下

在数据中心完成的传统数据处理工作包括视频流，电子邮件和社交媒体。AI的计算强度更高，因为它需要读取大量数据，直到学会理解它为止，即经过培训。

与人们的学习方式相比，这种培训效率很低。现代AI使用人工神经网络，这是模拟人脑神经元的数学计算。每个神经元与其邻居的连接强度是网络的一个参数，称为权重。为了学习如何理解语言，网络从随机权重开始并进行调整，直到输出同意正确答案为止。

训练语言网络的一种常见方法是，从Wikipedia和新闻媒体等网站向其提供大量文本，并在其中掩盖一些单词，并要求其猜测被掩盖的单词。一个例子是“我的狗很可爱”，而“可爱”一词被遮盖了。最初，该模型将它们全部弄错了，但是，经过多轮调整之后，连接权重开始改变并拾取数据中的模式。网络最终变得准确。

最近的一个名为“变压器双向编码器表示(BERT)”的模型使用了英语书籍和维基百科文章中的33亿个单词。此外，在训练期间BERT读取此数据集的次数不是一次，而是40次。相比之下，一个普通的孩子学习说话时到五岁时可能会听到4500万个单词，比BERT少3000倍。