Lyft开源Flyte工具用于管理机器学习工作流程

乘车共享公司Lyft Inc.今天表示已为人工智能数据开源了一种新的调试工具，其价格，位置，预计到达时间，地图绘制和自动驾驶开发人员团队在过去三个月一直在内部使用该工具年份。

Lyft将Flyte描述为“用于并行，可伸缩和可维护的机器学习工作流的结构化分布式平台”。

Lyft工程师Allyson Gale和Ketan Umare在Medium上的博客中写道：“由于数据现在已成为公司的主要资产，执行大规模计算工作对业务至关重要，但从运营角度来看是有问题的。” 扩展，监视和管理计算集群成为每个产品团队的负担，减慢了迭代速度，进而减慢了产品创新的速度。此外，这些工作流程通常具有复杂的数据依赖性。Flyte的任务是通过抽象这些开销来提高机器学习和数据处理的开发速度。”

Gale和Umare解释说Flyte是一项“多租户”服务，这意味着团队可以在单独的数据存储库上工作并使用它们，而不会影响平台的其余部分。对软件代码进行版本化和对其依赖项进行容器化，以确保所有执行仍可重现。开发人员可以调用不同的参数或AI模型内部的变量，以定义其与特定问题有关的技能。Flyte还可以使用先前模型执行中的缓存输出来节省时间和内存。

Flyte还可以将任务链接在一起，并通过基于Python的领域特定的编程语言在其中传递数据。此外，由于Flyte中的每个实体都是不可变的，每次更改都被捕获为新版本，因此可以快速迭代或回滚工作流，并在工作流之间共享版本化任务。

该公司表示：“ Flyte的构建是为了以现代产品，公司和应用程序所需的规模来推动并加速机器学习和数据编排。” “ Lyft和Flyte共同成长，看到了现代处理平台所提供的巨大优势，我们希望在开源Flyte中也能从中受益。”

Constellation Research Inc.分析师Holger Mueller表示，Flyte看起来是一种有用且久经考验的机器学习管理工具，由于它跨越多个基础计算框架，因此对某些公司应该具有吸引力。

穆勒说：“在进一步考虑之前，高管必须先验证Flyte拥有的组件是他们想要构建下一代应用程序的组件。” “如果合适的话，值得进行详细评估。”