微软推出了用于运行超快速AI的系统Brainwave

微软今天推出了一款用于高速，低延迟服务机器学习模型的新系统，从而在专用人工智能硬件领域引起轰动。该公司展示了一个名为Brainwave的新系统，该系统将允许开发人员将机器学习模型部署到可编程芯片上，并实现超出他们从CPU或GPU获得的高性能。

位于加利福尼亚州库比蒂诺的Hot Chips会议的研究人员展示了一款门控循环单元模型，该模型运行在英特尔全新的Stratix 10现场可编程门阵列(FPGA)芯片上，速度为39.5 teraflops，完全没有批处理操作。缺乏批处理意味着硬件可以在进入时处理请求，为机器学习系统提供实时洞察。

微软选择的模型比Alexnet和Resnet-50等卷积神经网络大几倍，其他公司已经用它来测试自己的硬件。

提供低延迟的洞察力对于大规模部署机器学习系统非常重要。用户不希望等待他们的应用程序做出响应。

“我们称之为实时AI，因为这里的想法是你发送请求，你想要回答，”微软研究院的杰出工程师Doug Burger说。“如果它是一个视频流，如果它是一个对话，如果它正在寻找入侵者，异常检测，你关心互动和快速结果的所有事情，你需要实时，”他说。

但是，之前发布的一些关于硬件加速机器学习的结果集中在以延迟为代价优化吞吐量的结果上。在Burger看来，更多的人应该问一下机器学习加速器如何在不将请求捆绑到批处理中并且一次处理它们的情况下执行。

他说：“所有人[其他]人都在捣蛋。”

微软在其数据中心安装的FPGA中使用了Brainwave。根据Burger的说法，Brainwave将允许微软服务更快地支持人工智能功能。此外，该公司正致力于通过其Azure云平台向第三方客户提供Brainwave。

FPGA允许程序员配置经过优化的硬件，以便在运行之前执行特定功能，例如进行必要的数学运算以提供神经网络的洞察力。微软已经在其数据中心的数据中心部署了数十万个FPGA，这些板插入服务器并连接到网络。

Brainwave将经过训练的机器学习模型加载到FPGA硬件的内存中，该内存在机器学习服务的整个生命周期内保持不变。然后，该硬件可用于计算模型旨在生成的任何洞察，例如预测的文本字符串。如果模型太大而无法在单个FPGA上运行，则软件会在多个硬件板上部署并执行它。

微软并不是唯一一家投资硬件的公司，它应该加速机器学习。谷歌今年早些时候宣布了其Tensor Processing Unit的第二次修订 - 这是一种用于机器学习培训和服务的专用芯片。还有一些初创公司正在构建专用的硬件加速器，用于机器学习。

对FPGA的一个常见批评是它们比专门用于执行机器学习操作的芯片更快或更低效。Burger说，这个性能里程碑应该表明可编程硬件也可以提供高性能。

此外，今天展示的性能是在全新的硬件上运行，汉堡表示英特尔和微软有进一步优化硬件性能和Brainwave使用它的空间。随着性能的进一步提升，微软应该可以使用英特尔Stratix 10达到90 teraflops。

目前，Brainwave支持使用Microsoft的CNTK框架和Google的TensorFlow框架创建的训练模型。汉堡说团队正在努力使其与其他工具如Caffe兼容。微软尚未提供何时向其客户提供Brainwave的路线图，但正在努力实现未来，当第三方能够带来任何训练有素的模型并在Brainwave上运行它。