Facebook的新技术可以超快速地训练计算机视觉模型

Facebook已经找到了一种培训计算机视觉模型的新方法，这种模式将大大加速公司的人工智能工作。使用这项新技术，公司可以在一小时内训练图像分类模型，同时保持其准确性。

在最佳性能方面，今天在纸上布局的新系统可以使用256个GPU每秒训练40,000个图像，而不会牺牲最终模型的质量。通过帮助数据科学家更快地测试他们的假设，这一成就应该有助于提高未来研究的质量。

加速机器视觉培训对于Facebook来说非常重要，它将增强现实和机器学习视为未来业务的关键。根据Facebook应用机器学习团队的软件工程师Pieter Noordhuis的说法，加速模型创建意味着公司的数据科学家每天可以运行多种模型排列，而不必花费一天时间进行单一测试。

“他们可以说'好吧，让我们开始我的一天，开始我的一次训练，喝一杯咖啡，弄清楚它是怎么做的'，”他说。“利用[他们]从中获得的表现，形成一个新的假设，进行一个新的实验，直到一天结束。使用它，[他们]可能在一天内完成六个测序实验，否则会使他们在一周内恢复。“

Facebook的加速通过扩展训练中处理的图像的小批量大小来实现，这使得通过在大量GPU上运行计算来加速学习过程成为可能。然而，增加小批量大小也需要提高学习率，这导致过去的准确度降低。

Facebook的团队想出的是一个新的热身阶段，随着时间的推移慢慢提高学习率和批量大小，以帮助保持较小批次中的准确性。使用它，他们能够为小批量的8,192张图像保持大致相同的错误率，因为它们的小批量大小为256张图像。

这项研究的好处不仅限于Facebook。该公司使用开源Caffe2框架，通过开放计算项目发布的设计服务器完成了所有工作。使用其他服务器和其他框架的人可以遵循本文中提出的技术，并且应该能够看到类似的好处。

也就是说，不清楚这种技术会对不同的问题产生类似的结果。然而，Facebook的研究使其他数据科学家，包括那些在社交网络公司工作的科学家，可以追求更多的质疑。

根据Noordhuis的说法，这项研究的另一个主要好处是它证明了Facebook的AI研究团队的价值，更好地称为FAIR。今天报告的结果是两个组织之间的合作。FAIR在扩大批量规模和创建预热阶段方面提供了见解，而公司的应用机器学习团队利用其专业知识使得最终系统在数据中心工作。