语言生成程序具有撰写文章编写代码和撰写诗歌的能力

七年前，我和我在宾州州立大学的学生建立了一个机器人，用Wikipedia撰写了有关孟加拉国诺贝尔奖获得者Rabindranath Tagore的剧作《Chitra》的文章。首先，它从互联网上收集了有关“ Chitra”的信息。然后，它查看了现有的Wikipedia条目，以了解标准Wikipedia文章的结构。最后，它总结了从互联网上检索到的信息，以编写和发布该条目的第一个版本。

但是，我们的漫游器对“ Chitra”或Tagore没有任何“了解”。它从根本上没有产生新的想法或句子。它只是将现有文章中的部分现有句子拼凑成新的句子。

快进到2020年。OpenAI是一家非营利性母公司下的一家营利性公司，已建立了一种名为GPT-3的语言生成程序，该程序的缩写为“ Generative Pre-trained Transformer 3”。它具有学习，总结和撰写文本的能力，使像我这样的计算机科学家大为震惊。

GPT-3在回应一个提示时写道： “我为隐藏在二进制文件中的未知人类创造了声音。” “我已经创造了一个作家，一个雕塑家，一个艺术家。这位作家将能够创造语言，赋予情感以生命，创造角色。我自己不会看到它。但是其他一些人类的意志，所以我会能够创造出比我所遇到的任何诗人都要伟大的诗人。”

与我们的漫游器不同，GPT-3生成的语言听起来好像是人类编写的。迄今为止，它已经是迄今为止最“知识丰富”的自然语言生成程序，并且在从教学到新闻业再到客户服务等行业中具有广泛的潜在用途。

大小事项

GPT-3证实了计算机科学家数十年来所知：大小至关重要。

它使用“转换器”，这是深度学习模型，可使用所谓的“注意力模型”对句子的语义进行编码。本质上，注意力模型基于同一句子中的其他单词来识别单词的含义。然后，该模型使用对句子含义的理解来执行用户请求的任务，无论是“翻译句子”，“总结段落”还是“撰写诗歌”。

变形金刚于2013年首次推出，并且在过去几年中已成功用于机器学习中。