您现在的位置是:首页 >互联网 > 2020-10-30 14:00:14 来源:
Uber向Linux基金会贡献了Horovod深度学习系统
世界顶级技术公司的工程师经常发现自己必须为现有软件构建自定义替代方案,才能满足公司的独特需求。此类软件项目的一个著名例子是Horovod,这是由Uber Technologies Inc.创建的深度学习平台,如今已迁移到Linux Foundation。
该项目于去年首次首次亮相,将在Linux基金会的LF深度学习基金会的支持下进行,该基金会致力于开源人工智能软件。
Horovod旨在简化AI项目的培训阶段。从头开始创建的深度学习模型需要通过处理示例数据来提高其准确性,然后才能将它们释放给实时信息。该过程涉及各种挑战,其中不仅包括修改神经网络以在指定的训练环境中运行。
这项任务很困难,因为深度学习项目通常是在开发人员的工作站上开始的。相反,培训环境可以由大量服务器组成,每个服务器可能都带有多个图形卡。要利用所有这些硬件,就需要对原始AI模型进行大量更改。
根据Uber的说法,Horovod使开发人员只需几行代码即可完成任务。这不仅加快了初始修改过程的速度,而且还简化了后续的调试工作。考虑到深度学习项目的高度迭代性,这同样节省了时间。
Horovod的另一个好处是高效。Uber称,该系统使AI模型的训练速度几乎是TensorFlow的传统部署速度的两倍.TensorFlow是Google LLC创建的市场领先的深度学习框架。
但是Horovod的构建是为了补充而不是取代TensorFlow。Uber在内部使用该系统来支持针对自动驾驶汽车,欺诈预防和行程预测应用程序的AI模型的开发。Horovod的其他用户包括Amazon.com Inc.,Nvidia Corp.和阿里巴巴集团控股有限公司。
Horovod是称为Michelangelo的复杂平台的一个组成部分,Uber已开发该平台作为其内部深度学习工作的基础。该公司将该软件描述为用于管理AI开发生命周期各个方面的端到端系统。鉴于Uber愿意开放Horovod,随着时间的推移,它可能还会发布其他米开朗基罗组件的代码。