Facebook开源用于构建自然语言系统的PyText框架

Facebook Inc.希望帮助开发人员更轻松地构建和部署基于人工智能的自然语言处理系统。

为此，今天它开放了一个新的名为PyText的NLP建模框架的采购，该框架据说有助于弥合尝试使用此类系统与使其在生产中投入使用之间的差距。

Facebook的开发团队在博客中表示，PyText很有用，因为构建NLP系统所需的神经网络在传统上一直让人头疼。这是因为它说的是在针对实验优化的框架和针对生产优化的框架之间进行权衡。

构建NLP系统通常需要对数十种AI模型进行广泛的培训和测试。大部分的培训和测试都是在“研究型框架”上完成的，Facebook表示这非常有用，因为它们提供了一个简单的界面，可以加快这些模型的创建速度。

但是研究框架不太适合在生产环境中运行NLP系统，因为这些系统使用的模型会增加等待时间和内存使用。Facebook说，现有的生产框架可以解决这些问题，但是显然它们使创建文本序列的动态表示变得困难，这对于任何可靠的NLP系统都是必要的。

这就是为什么Facebook决定创建和开源PyText，PyText是基于其开源PyTorch深度学习框架构建的软件库。

Facebook表示，PyText是为满足NLP建模的特定需求而构建的，它通过提供简化的工作流程来实现更快的实验，从而满足了这一要求。它还提供对各种预建模型体系结构的访问，以及用于文本处理和词汇管理的工具。最后，它还可以访问更广泛的PyTorch生态系统，该生态系统具有用于NLP系统的自己的工具和模型。

该公司表示，PyText使得既可以尝试NLP系统，又可以将其部署到生产环境中，以完成诸如文档分类，多任务建模，语义解析和序列标记之类的任务。

“在Facebook，我们已经使用此框架在短短几天内(而不是数周或数月)将NLP模型从构思转变为全面实施，并部署了依赖多任务学习的复杂模型，” Facebook的工程团队写道。

Constellation Research Inc.的分析师Holger Mueller表示，很高兴看到与此类框架的更多竞争，因为自然语言处理对于下一代软件应用至关重要。

Mueller说：“新UI的声音只有在使用NLP模型时才有机会，而跨框架的竞争对于促进功能的进步以及为CxOs提供如何为下一代应用程序构建AI模型提供选择至关重要。” “与所有新产品一样，谨慎和验证是生命的头几个月的关键建议，但是开源框架将使人们对代码有更早的了解，并且视情况而定，有助于建立起对代码的信心。框架。”

Facebook已经在内部使用PyText来改进其某些产品的NLP功能，包括Messenger中的M建议功能和其新的Portal视频通话设备。

该团队写道：“借助Portal，Messenger和许多其他用例，我们需要实时运行模型以提供快速响应。” “我们还需要能够大规模有效运行的NLP系统。PyText使Facebook工程师更容易在数十亿说多种不同语言的人所使用的系统中部署高级实时NLP。”