AI编译大战英特尔谷歌微软NvidiaIBM等为深度学习加速而武装

在任何开发人员的工具包中，编译器都是最性感的工具之一。仅当您准备好查看出色的新应用程序在现场的性能时，才调用编译器。

数据科学家是人工智能驱动应用程序新时代的主要开发者。因此，许多人可能会听到这样的消息，即英特尔公司发布了充其量的开源神经网络编译器nGraph。大多数开发人员只是使用内置的机器学习编译器，而它们附带使用的任何开发框架。

实际上，这甚至不是什么新闻：Wikibon在2017年11月关于深度学习开发框架的报告中讨论了nGraph 。不过，这很重要，因为英特尔现已正式发布的跨平台模型编译器(例如nGraph)已成为新时代的预兆，在新时代中，您使用哪种前端工具来构建AI算法，以及使用哪种后端工具都可以。端云，平台或芯片组用于执行它们。

NGraph是当今开发人员可以使用的越来越多的跨平台AI模型编译器之一。越来越多的竞争对手提供的产品包括亚马逊网络服务公司的 NNVM编译器，谷歌有限责任公司的 XLA 和英伟达公司的 TensorRT 3。

它们的共同点是，它们可以编译在一个TensorFlow，MXNet，PyTorch和CNTK等前端工具中创建的AI模型，以在异构后端DL平台和硬件平台(包括图形处理单元)上优化执行，中央处理器，现场可编程门阵列等。他们通过从各种目标运行时环境中抽象出神经网络的核心计算图结构来做到这一点。

一些观察家将英特尔正式发布的nGraph解释为一种防御手段，以鼓励开发人员编译其AI以在其CPU上执行，而不是在其强大竞争对手Nvidia的GPU上执行。英特尔通过报告使用最新版本的nGraph编译的基于Intel的硬件(包括其Nervana AI芯片和用于边缘计算的芯片上的Movidius系统)所编译的神经网络模型，显着提高了性能，从而增强了这种认识。显然，它具有阻止开发人员直接将其AI直接编写到Nvidia的API的全部兴趣。

谷歌最近宣布将TensorFlow 与Nvidia的TensorRT 库集成在一起，从而使Nvidia在编译大战中获得了战术上的优势。这可以编译内置在最流行的前端建模工具中的神经网络，以在Nvidia GPU上优化推理。它还为在生产环境中的GPU上高效部署TensorFlow模型创建了运行时。另外，谷歌还向英特尔赢得了次要胜利，宣布这些供应商已经提供了TensorFlow 集成以及 英特尔提供的更快，更高效 的开源深度学习库。

但是，随着AI开发人员要求能够将其模型抽象为离散的子图，然后均匀地自动编译它们以在由GPU，CPU，FPGA和其他芯片组组成的混合AI硬件环境中进行分布式执行的能力，这些防御策略将随着时间的流逝而减少。跨平台AI编译器将成为每个AI开发环境的标准组件，使开发人员无需了解每种环境的技术细节即可访问每个深度学习框架和目标平台。这一趋势与IBM公司Watson AI产品副总裁Ritika Gunnar在最近的Think 2018大会上在SiliconANGLE Media的视频工作室theCUBE上进行的AI开发人员可访问性讨论相一致：

在未来的两到三年内，人工智能行业可能会围绕所有前端和后端环境支持的一种开源交叉编译进行融合。最近几周的其他行业发展引起了人们对AI交叉编译生态系统开放的关注。

这些包括：

微软 开源的GitHub存储库，以促进对GPU优化的深度学习模型进行跨框架基准测试。

ARM与Nvidia的合作伙伴关系将开源Nvidia深度学习加速器架构集成到其刚刚宣布的Project Trillium平台中，该平台旨在支持跨框架的深度学习模型编译，以在移动，“物联网”和其他大众市场中优化执行边缘设备。

IBM推出了新 的深度学习开源面料框架，该框架支持通过TensorFlow，PyTorch，Caffe2和其他框架中构建的深度学习微服务的优化部署，通过Kubernetes上的无状态RESTful接口将其部署到GPU和CPU异构集群上的不同计算节点上。

Linux Foundation 推出 了 Acumos AI项目，该项目定义了API，一个开源框架以及一个AI模型目录，用于与框架无关的AI应用程序开发，在Kubernetes上的链接和部署。

不久之后，就像IBM在最近的文章中所说的那样，宣称特定的深度学习库比在特定的云中的特定硬件体系结构上运行的特定框架要快是很奇怪的。无论这些或其他任何性能要求是否值得，开发人员都将越来越具有自动转换性能不佳模型以优化执行所选AI云的能力。