谷歌称人工智能的指数级增长正在改变计算的本质

人工智能和机器学习的爆炸性发展正在改变计算的本质，人工智能的最大实践者之一谷歌表示。

周四上午，谷歌软件工程师克里夫杨在林利集团秋季处理器大会上发表了开幕主题演讲。

杨说，人工智能的使用已经到了“指数阶段”，而摩尔定律却停滞不前。

“《纽约时报》有点神经质，”他若有所思地说。“数字CMOS正在放缓，我们看到英特尔在10纳米(芯片生产)方面的困境，我们看到GlobalFoundries正在摆脱7纳米芯片的困境。同时，这种深度学习正在发生，也有经济需求。”互补金属氧化物半导体是计算机芯片最常见的材料。

此外，谷歌为TPU 3.0人工智能、机器学习和模型训练做准备。

杨指出，由于传统芯片难以实现更高的性能和效率，人工智能研究人员的需求正在飙升。他引用了一些数据：在康奈尔大学维护的arXiv预印本服务器上，关于机器学习的学术论文数量每18个月翻一番。他说，谷歌专注于人工智能的内部项目每18个月翻一番。此外，执行机器学习神经网络所需的浮点算术运算数量每三个半月翻一番。

所有这些计算需求的增加共同形成了一个“超级摩尔定律”，杨说他称之为“有点可怕”、“有点危险”和“值得担心的事情”。

“为什么所有这些指数都在增长？”在人工智能领域，他问道。“部分原因是深度学习非常有效，”他说。“很长一段时间，我在职业生涯中忽略了机器学习，”杨说。“目前还不清楚这些东西是否会起飞。”

但随后，图像识别等领域的突破开始迅速出现，人们清楚地意识到深度学习“非常有效”，他说。“在过去五年的大部分时间里，我们一直是一家人工智能第一的公司，”他说。“我们基于它重建了大部分业务”，从搜索到广告等等。

杨说，领导人工智能研究的谷歌大脑团队需要“巨型机器”。例如，神经网络有时是通过它们使用的“权重”的数量来衡量的，权重是应用于神经网络的变量，以形成它们对数据的操作。

传统的神经网络可能有几十万甚至几百万个这样的权重需要计算，而谷歌科学家说“请给我们一台万亿美元的机器”，一台可以计算万亿美元权重的计算机。这是因为“每次你把(神经)网络的规模扩大一倍，我们就能提高精度。”成长是人工智能的法则。

当然，作为回应，谷歌一直在开发自己的机器学习芯片生产线——“Tensor Processing Unit”。传统的cpu和gpu跟不上时代，所以需要TPU和类似的组件。

杨：表示，“长期以来，我们一直认为英特尔和NVIDIA在构建高性能系统方面表现出色。”五年前我们跨过了这道门槛。"

TPU在2017年首次亮相时引起了轰动，声称其性能优于传统芯片。谷歌现在是第三代TPU，内部使用，通过谷歌云提供按需计算节点。

此外，谷歌宣布边缘TPU，云物联网边缘软件。

公司继续制造越来越多的TPU样品。杨说，它的“吊舱”配置将1024个独立的TPU连接到一台新的超级计算机上，谷歌打算“继续扩展”这个系统。

他说：“我们正在建造这些巨大的多计算机，拥有几十千兆字节的计算能力。”"我们正无情地向许多方向前进，万亿行动也在不断攀升."

他说，这样一个项目“带来了超级计算机设计中的所有问题”。

例如，谷歌工程师采用了传奇超级计算组织Cray使用的技能。他们将“巨大的矩阵乘法单元”(负责神经网络计算的芯片)与“通用向量单元”和“通用标量单元”结合在一起，就像Cray一样。“标量和矢量单位的结合使克莱超越了其他一切，”他说。

谷歌开发了自己新颖的算术结构来编程芯片。所谓“bfloat16”是一种表示实数的方法，可以提高神经网络处理数字的效率。常被称为“脑浮”。

TPU采用最快的存储芯片，即所谓的高带宽存储器(HBM)。他说，当训练神经网络时，对记忆能力的需求激增。

他说，“记忆力在训练中得到加强。”“人们谈论上亿的权重，但这也是处理神经网络激活变量的问题。”

谷歌还在调整神经网络编程方式，以充分利用硬件。“我们在数据和模型并行方面做了大量的工作”，项目包括“Mesh TensorFlow”，这是对公司TensorFlow编程框架的改编，“在点尺度上结合了数据和模型并行”。

杨拒绝透露一些技术细节。他指出，该公司没有过多谈论“互联”(数据在芯片上移动的方式)，只是说“我们有巨大的连接器”。他拒绝提供更多的信息，引起了观众的大笑。

杨指出，更多有趣的计算领域可能离我们不远了。例如，他建议。

过模拟芯片进行计算，这种电路将输入信号处理为连续的数值，而不是1和0，这将起到重要的作用。“也许我们会从模拟领域取样，在物理、模拟计算或非易失性技术领域有一些非常酷的东西。”

他对出现在大会上的芯片初创公司的新技术抱有希望:“有一些非常酷的初创公司，我们需要它们，因为数字CMOS只能把我们带到这么远的地方;我希望这些投资能够实现。”

早期的人工智能采用者回报丰厚

新的研究表明，人工智能技术正在取得成效，但组织面临挑战。

甲骨文推出新的企业数字助理

除了典型的用于单一目的的聊天机器人外，Oracle Digital Assistant还可以通过培训来支持来自多个应用程序的领域技能

人工智能为企业的早期采用者带来回报，但不是创造平等的行业

德勤的年度人工智能调查显示了一些现实主义，网络安全方面的担忧，以及17%的平均投资回报率。

机器学习现在是开发人员所追求的最高技能

SlashData对2万名开发者的最新调查发现，机器学习和数据科学是2019年需要掌握的技能。