Google的新SEEDRL框架将AI模型培训成本降低了

Google的研究人员开源了一个新框架，该框架可以在数千台机器上扩大人工智能模型的培训。

谷歌在一份研究论文中指出，这是一个有希望的发展，因为它应该使AI算法训练能够以每秒数百万帧的速度执行，同时将这样做的成本降低多达80%。

这种减少可能有助于为那些以前无法与AI等主要参与者竞争的初创公司提供公平的竞争环境。实际上，在云中训练复杂的机器学习模型的成本令人惊讶地昂贵。

Synced最近的一份报告发现，华盛顿大学花费了25,000美元来训练其Grover模型，该模型用于检测和生成假新闻。同时，OpenAI每小时支付256美元来训练其GPT-2语言模型，而Google本身花费约6,912美元来训练其BERT模型来处理自然语言。

SEED RL构建在TensorFlow 2.0框架之上，并通过利用图形处理单元和张量处理单元的组合来集中模型推断。然后使用训练模型的学习器组件集中执行推断。

目标模型的变量和状态信息保持局部状态，并在过程的每个步骤中将对它们的观察结果发送给学习者。SEED RL还使用基于开源通用RPC框架的网络库来最大程度地减少延迟。

谷歌的研究人员说，SEED RL的学习者组件可以扩展到数千个内核，而在环境中采取步骤与在模型上进行推断以预测下一步操作之间进行迭代的参与者数量可以扩展到数千台机器。

Google通过在流行的Arcade学习环境，Google Research Football环境和几个DeepMind Lab环境中进行基准测试来评估SEED RL的效率。结果表明，他们使用64个Cloud Tensor Processing Unit芯片以每秒240万帧的速度训练模型的同时，成功解决了Google Research Football的任务。谷歌表示，这比以前的框架快80倍。

阿姆斯特丹Google Research的研究工程师Lasse Espeholt写道：“这大大缩短了挂钟时间，并且由于加速器的每次操作比CPU便宜几个数量级，因此实验的成本大大降低了。”周一在公司的AI博客中。“我们相信SEED RL及其呈现的结果表明，在利用加速器方面，强化学习再次赶上了其他深度学习领域。”

Constellation Research Inc.分析师Holger Mueller告诉SiliconANGLE，SEED RL似乎是“强化学习”的另一个例子，他说SEED RL正在成为推进下一代应用程序的最有前途的AI技术之一。

Mueller说：“当您调整软件使其与硬件完美配合时，通常会看到重大进步，这就是Google在这里展示的-SEED RL库与TPU架构的结合。” 毫不奇怪，与传统解决方案相比，它提供了可观的性能提升。尽管用户将被锁定在Google Cloud Platform中，但这使大众可以进行强化学习。但是AI可以在云中得到最好的服务，而GCP是AI应用程序的绝佳选择。”

谷歌表示，SEED RL的代码已开源，并在Github上可用，还有一些示例，展示了如何在带有图形处理单元的Google Cloud上运行它。