基于内存的人工神经网络架构

在过去十年左右的时间里，研究人员已经开发了多种基于人工神经网络(ANN)的计算模型。尽管已发现许多这些模型在特定任务上表现良好，但它们并不总是能够识别可应用于新问题的迭代，顺序或算法策略。

过去的研究发现，添加外部存储器组件可以提高神经网络获取这些策略的能力。但是，即使使用外部存储器，它们也容易出错，对提供给他们的数据变化敏感，并且需要大量的训练数据才能很好地发挥作用。

达姆施塔特技术大学的研究人员最近推出了一种新的基于记忆增强的基于ANN的体系结构，该体系结构可以学习解决问题的抽象策略。这种结构在发表于《自然机器智能》上的论文中提出，将算法计算与依赖于数据的操作分开，将算法处理的信息流划分为两个不同的“流”。

研究人员在论文中写道：“扩展具有外部记忆的神经网络已经提高了他们学习这种策略的能力，但是它们仍然容易出现数据变化，难以学习可扩展和可转移的解决方案，并且需要大量的训练数据。” “我们提出了神经哈佛计算机，这是一种基于内存的基于网络的体系结构，该体系结构通过将算法操作与数据操作解耦而采用抽象，通过拆分信息流和分离的模块来实现。”

神经哈佛计算机或NHC将输入算法的信息流分为两个不同的流，即数据流(包含特定于数据的操作)和控制流(包含算法操作)。最终，它可以区分与数据相关的模块和算法模块，从而创建两个独立但又耦合的存储器。

NHC具有三个主要的算法模块，分别称为控制器，存储器和总线。这三个组件具有不同的功能，但彼此交互以获取可应用于将来任务的抽象。

研究人员在论文中解释说：“这种抽象机制和进化训练使学习健壮和可扩展的算法解决方案成为可能。”

达姆施塔特技术大学的团队通过使用NHC训练和运行11种不同的算法来评估NHC。然后，他们测试了这些算法的性能，以及它们的泛化和抽象能力。研究人员发现，NHC可以可靠地运行所有11种算法，同时还可以使它们在比最初训练要完成的任务复杂的任务上表现出色。

“在11种复杂程度各异的算法中，我们证明NHC可靠地学习了具有强大概括性和抽象性的算法解决方案，可以完美地概括和扩展到任意任务配置和复杂性，而这些复杂性和复杂性远远超出了训练期间所看到的，并且与数据无关表示法和任务领域”，研究人员在论文中写道。

该研究人员小组最近进行的研究证实了使用外部存储组件来增强复杂程度不同的任务中基于神经网络的体系结构的性能和可推广性的潜力。将来，NHC体系结构可用于合并和改进不同ANN的功能，从而帮助开发可识别有用策略的模型，从而基于新数据做出准确的预测。