最新进展为深度学习网络成功的原因提供了理论见解

深度学习系统正在彻底改变我们周围的技术，从将您与手机配对的语音识别到越来越能够看到并识别前方障碍物的自动驾驶汽车。但是，当涉及到深度学习网络本身时，许多成功都涉及反复试验。一群MIT研究人员最近回顾了他们对更好地理解深度学习网络的理论贡献，为该领域的发展提供了方向。

“深度学习在某种程度上是一个偶然的发现，”麦戈文脑科学研究所研究员，大脑，思维与机器中心(CBMM)主任，尤金·麦克德莫特(Eugene McDermott)脑与认知科学教授Tommy Poggio解释说。 。“我们仍然不明白它为什么起作用。一个理论框架正在形成，我相信我们现在已经接近一个令人满意的理论。现在该退后一步，回顾最近的见解。”

攀登数据山

我们当前的时代以数据的丰富为特征-来自各种类型的廉价传感器，文本，互联网的数据，以及生命科学中生成的大量基因组数据。如今，计算机摄取这些多维数据集，从而产生了一系列问题，这些问题被已故的数学家理查德·贝尔曼(Richard Bellman)称为“维数诅咒”。

这些问题之一是，表示平滑的高维函数需要天文学上大量的参数。我们知道深度神经网络特别擅长学习如何表示或近似于此类复杂数据，但是为什么呢?了解为什么可能有可能帮助推进深度学习应用程序。

“深度学习就像是在Volta发现电池之后，但在Maxwell之前，就像电一样。” Poggio解释说，他是MIT Quest for Intelligence核心组织的创始科学顾问，并且是计算机科学与人工智能实验室(CSAIL)的研究员麻省理工学院。“在Volta之后肯定可以进行有用的应用，但这是Maxwell的电磁学理论，这种更深刻的理解为无线电，电视，雷达，晶体管，计算机和互联网开辟了道路。”

Poggio，Andrzej Banburski和Qianli Liao的理论处理指出了深度学习为何可以克服诸如“维数诅咒”之类的数据问题的原因。他们的方法始于观察到许多自然结构是分层的。建模树木的生长和发育不需要我们指定每个树枝的位置。相反，模型可以使用本地规则来分层驱动分支。当处理复杂数据时，灵长类动物的视觉系统似乎会做类似的事情。当我们查看自然图像(包括树木，猫和脸)时，大脑先后整合了局部图像补丁，然后是小补丁集合，然后是补丁集合。