新工具突出显示了重建场景时哪些生成模型遗漏了

任何花时间在社交媒体上的人都可能已经注意到GAN(即对抗性生成网络)已经非常擅长绘制面孔。他们可以预测您年老时的模样以及名人的模样。但是，请GAN绘制更大的场景，事情就会变得很奇怪。

MIT-IBM Watson AI Lab的一个新演示揭示了在教堂和纪念碑现场受训的模型在绘制自己的版本(例如巴黎的万神殿或罗马的西班牙广场)时决定放弃的内容。上周，在计算机视觉国际会议上提出了更大的研究，《看GAN不能产生什么》。

麻省理工学院电气工程与计算机科学系的研究生戴维·鲍(David Bau)说：“研究人员通常专注于表征和改进机器学习系统可以做什么—它关注的是什么，以及特定的输入如何导致特定的输出。”计算机科学与人工科学实验室(CSAIL)。“通过这项工作，我们希望研究人员将更多地关注表征这些系统忽略的数据。”

在GAN中，一对神经网络一起工作以创建在给出示例后图案化的超现实图像。鲍尔开始对GAN感兴趣，因为它可以窥视黑匣子神经网络以了解其决策背后的原因。与他的顾问MIT教授Antonio Torralba和IBM研究员Hendrik Strobelt一起开发的较早工具使识别负责将图像组织成现实世界类别(如门，树和云)的人工神经元簇成为可能。GANPaint是一个相关工具，它使业余艺术家可以从自己的照片中添加和删除这些功能。

一天，Bau在帮助艺术家使用GANPaint时遇到了一个问题。他说：“像往常一样，我们一直在追踪数字，试图优化数值重建损失来重建照片。” “但是我的顾问一直鼓励我们超越数字，仔细检查真实的图像。当我们看时，这种现象马上就跳了出来：人们被选择性地辍学了。”

正如GAN和其他神经网络在数据堆中找到模式一样，它们也忽略了模式。Bau和他的同事在室内和室外场景上训练了不同类型的GAN。但是，无论在何处拍摄照片，GAN都始终忽略重要的细节，例如人，汽车，标志，喷泉和家具，即使这些对象在图像中突出显示时也是如此。在一次GAN重建中，一对新婚夫妇在教堂台阶上接吻时被鬼影了，在大教堂的门上留下了怪异的婚纱纹理。

“当GAN遇到无法生成的对象时，他们似乎在想象没有它们的场景会是什么样子，” Strobelt说。“有时人们会变成灌木丛或完全消失在它们后面的建筑物中。”

研究人员怀疑，机器懒惰可能是罪魁祸首。尽管GAN受过训练以创建令人信服的图像，但它可能会发现将重点放在建筑物和景观上并跳过难以代表的人和汽车更容易。长期以来，研究人员都知道GAN倾向于忽略一些具有统计意义的细节。但这可能是第一个表明最新的GAN可以系统地忽略图像中所有对象类别的研究。