关于Fluenty如何实现智能回复功能的内幕故事

Fluenty是一个聊天机器人，让你听起来像詹姆斯邦德正在写你的自动回复。该团队于2014年开始构建其智能回复系统。到2015年夏天，应用程序Fluenty能够响应SMS消息，为支持总共四个外部消息传递平台铺平了道路。到目前为止，我们已经看到了60,000次下载和13,000个活跃用户。

学习深度学习

我们的团队首先观察了深度递归神经网络技术的进步，同时担任韩国主要搜索引擎Naver和Daum的工程师。这项技术允许设备解释短语的含义，并通过决定要记住哪些信息和(如我们的衰老自我)忘记什么来学习以前的条目。

我们对这项技术非常着迷，因为我们认为它可以彻底改变移动应用程序的世界。我们设想了一个聊天机器人可以在处理足够的会话数据后以类似人的方式响应消息的世界。然而，当时，这项技术远非完美，我们的愿景还远未完成。

我们的团队很早就意识到我们必须创建能够“思考”自己的机器人，并对传入的查询产生相关的响应，以便我们的愿景成为现实。至少可以说这是一项艰巨的任务，但我们对技术的热爱激发了我们的动力。出于这个原因，我们研究了递归神经网络(RNN)和长期短期记忆(LSTM)系统，以便我们能够解决与自然语言技术系统相关的挑战。

智能手表的兴起

虽然我们两个人试图找出使聊天机器人更有用的最佳方法，但我们的第三个联合创始人Sungjae Hwang正在为智能手表设计概念。他还在为他的作品开发app支持。

2014年，他在2015年4月24日发布Apple Watch之前差不多一年就完成了大约10个设计。在他的项目工作中，他意识到智能手表的一个主要弱点是他们的小输入界面。智能手表通过其连接的手机发送了大量通知，但几乎没有能力与收到的消息进行交互。

在Apple宣布他们的智能手表之后，我们开始转向研究方向。我们看到了普通大众对Apple Watch的积极态度，并决定专注于创建支持智能手表设备的应用程序。我们认为，一个优化用于生成人声回复的聊天机器人将成为使用智能手表进行通信的杀手级应用程序。

感谢Google Inbox的智能回复功能，许多人已经熟悉自动生成的回复系统。然而，在2014年，这种技术尚未完成。大多数人甚至都不知道他们日常互动的重复性如何。

我们通过测试测试了这种可预测性。我们的测试样本包括50位重度WhatsApp用户，年龄分别为20岁和30岁。我们要求他们通过与他们经常交谈的人的对话向我们提供他们的聊天记录。奇迹般地，他们同意了。

我们团队的下一步是逐行阅读倾销聊天，并根据响应的可预测性标记每个聊天。例如，当我们看到“你好吗?”时，我们可以很容易地认为答案会像“我很好”或“很棒!”。然而，当我们看到像“我们的小组一个大声笑”这样的消息时，我们没有足够的上下文来预测接收器接下来会输入什么。

我们的研究结果令人印象深刻。在所有聊天中，超过30%%的消息是可预测的，并且有一组有限的相应响应。现在是时候让我们使用我们学到的东西来创建一个能够始终如一地预测回复的应用程序。

构建智能回复功能

我们不是Facebook Messenger或WhatsApp。当我们开始时，我们没有大量的会话数据来训练我们的模型。相反，我们决定在社交媒体上收集公共对话数据，收集2亿对话。

正如Voxable联合创始人马特巴克 所写，“直到最近，将先进的自然语言处理技术仅限于最大的公司。”过去，很少有公司能够聘请研究人员和工程师来创建可靠的测试模型。对我们来说幸运的是，我们之前的工程经验使我们能够开发自己的模型而不是雇用外部公司。

我们开发了矢量嵌入和深度递归神经网络模型，然后我们对它们进行了微调，以增强建议答复的相关性并减少系统的计算时间。之后，我们开始开发我们的Android应用程序。

测试smartwatch应用程序

我们在2015年8月发布了我们的开放测试版Android应用程序后不久，Google Play就在其Android Wear部分中展示了我们。一个月后，我们的智能手表应用程序已被下载3,000次。很快我们开始监控用户的习惯(而不是对话)并考虑他们的反馈。在查看我们的调查结果后，我们得出以下结论：

用户在使用智能手表时发现“建议的回复”功能非常有用。

用户遇到延迟通知问题。根据计算的复杂程度和用户的网络连接状态，应用程序最多可能需要七秒钟才能发送通知。

我们的应用程序应该支持更多的第三方信使。许多用户表示他们喜欢Talkey(Fluenty的原始名称)，但他们觉得应用受限，因为他们不经常使用短信。

用户想要更多“个性化”的回复。

应用程序的布局需要改进。

我们还收到了建立智能手机版Talkey应用程序的请求。

根据用户的反馈，我们增强了模型，以更快地完成所有流程。现在，智能手表应用程序最多可以在不到50毫秒的时间内发送和接收消息。当我们的用户要求提供移动版本时，我们的团队持怀疑态度，但无论如何我们创建了一个，因为修改很简单，我们没有什么可失去的。

在发布Talkey的移动版本后，我们的Google Analytics数据显示，使用智能手表的用户在手机上发送的回复超过80%%。我感到震惊。我们认为现代智能手机易于使用的键盘使得自动消息发生器变得不必要。

什么样的未来

自从有了这个时刻，我们专注于开发对我们应用的智能手机版本的支持。为了反映我们的新愿景，我们将应用程序的名称从Talkey更改为Fluenty，相信此产品可能比键盘应用程序更大。我们设想我们的产品可以在许多应用中改善人与机器之间的通信流程。

最近，我们增加了对Kakao，Facebook Messenger，WhatsApp和Google Hangouts的支持。我们也在为其他应用程序开发更多支持。我们相信Fluenty应用程序有可能成为预测性智能通知工具，它将改变人们思考和接近数字通信的方式。

我们目前正在开发在客户服务自动化和汽车中实施API技术的方法。我们希望我们的服务能够帮助客户服务代表一键回答常规问题，并允许司机发送消息和搜索地址，同时密切关注道路。

我们还在尝试将Fluenty整合到辅助设备和VR耳机中，这样人们就可以通过查看他们想要发送的响应项来发送消息。随着API和DNN技术的不断发展，我们相信一切皆有可能。Fluenty计划将API技术的使用提升到新的水平。