Google的DeepMind开发了针对AI模型的IQ测试

机器能学会抽象地推理吗?这是谷歌子公司DeepMind 发表的一篇新论文的主题，题为“ 测量神经网络中的抽象推理 ”，本周在瑞典斯德哥尔摩举行的国际机器学习会议上发表。

研究人员将抽象推理定义为在概念层面上检测模式和解决问题的能力。在人类中，他们注意到，语言，空间和数学推理可以通过测试来经验性地测量，任务主体通过梳理形状位置和线条颜色之间的关系。但那些测试并不完美。

不幸的是，即使在人类的情况下，如果受试者准备太多，这样的测试也可能无效，因为可以学习特定测试的启发式方法，从而缩短了对普遍适用的推理的需求，”研究人员解释说。“鉴于神奇网络具有惊人的记忆能力，这种潜在的陷阱在神经网络中更为严重。”

团队的解决方案是一个生成器，它创建涉及一系列抽象因素的问题，包括“渐进”之类的关系以及“颜色”和“大小”之类的属性。他们限制这些因素来创建不同的问题集 - 例如，揭示的谜题仅在应用于线条颜色时的渐进关系 - 用于测试和训练机器学习模型。思维过去，非常精通的算法很可能能够推断出他们以前从未见过的概念。

大多数模型在测试中表现良好，有些模型的性能高达75%%; 研究人员发现，模型的准确性与推断任务的潜在抽象概念的能力密切相关。他们通过训练模型以“推理”答案，预测应该考虑解决问题的关系和属性，设法提高绩效。

“[有些模型]学会了解决复杂的视觉推理问题，”团队写道，“为此，[他们]需要从原始像素输入中诱导和检测抽象概念的存在，如逻辑运算和算术进展，以及将这些原则应用于从未观察到的刺激。“

但即使是表现最佳的神经网络Wild Relation Network(WReN)也有其局限性：它无法推断出在训练期间没有看到的属性值，并且在对先前看到的关系进行训练时，它在泛化任务上的表现更差(例如，形状数量的进展)或新属性(大小)。

“我们的研究结果表明，对于泛化得出普遍的结论可能是无益的：我们测试的神经网络在某些泛化方案中表现良好，而在其他方面表现得非常差，”该团队在博客文章中写道。“他们的成功取决于一系列因素，包括所用模型的架构以及该模型是否经过培训，以便为其答案选择提供可解释的'理由'。”

最终结果可能是一个混合包，但研究人员还没有放弃。他们打算探索改进概括的策略，并探索在未来模型中使用“结构丰富，但普遍适用”的归纳偏差。