在受大脑启发的计算机上优化神经网络

当网络的动态处于“临界点”时，许多计算属性会最大化，在这种状态下，系统可以通过基本方式快速更改其总体特征，例如在有序和混沌或稳定和不稳定性之间转换。被广泛认为对递归神经网络中的任何计算都是最优的，递归神经网络已在许多AI应用程序中使用。

来自HBP合作伙伴海德堡大学和马克斯-普朗克动力学与自组织研究所的研究人员通过测试尖峰递归神经网络在一组复杂任务上的复杂性(远离关键动力学)的性能，对这一假设提出了挑战。他们在模拟神经形态BrainScaleS-2系统的原型上实例化了网络。BrainScaleS是先进的大脑灵感计算系统，具有直接在芯片上实现的突触可塑性。它是欧洲人脑计划目前正在开发的两个神经形态系统之一。

首先，研究人员表明，可以通过更改输入强度轻松地在芯片中调整到关键点的距离，然后证明关键点和任务执行之间存在明确的关系。关键性对每个任务都有益的假设尚未得到证实：尽管信息理论方法都表明，关键性条件下网络容量最大，但只有复杂的，内存密集型任务会从中获利，而简单的任务实际上会受到影响。因此，该研究可以更准确地了解应如何将集合网络状态调整为不同的任务要求，以实现最佳性能。

从机械上讲，通过调整平均输入强度，可以很容易地在稳态可塑性下为每个任务设置最佳工作点。这种机制背后的理论是马克斯·普朗克研究所最近开发的。MPIDS小组负责人Viola Priesemann说：“将其用于神经形态硬件上表明，这些可塑性规则非常有能力将网络动态调整为与临界距离不同的距离。” 因此，可以在该空间内最佳地解决各种复杂性的任务。

该发现还可以解释为什么生物神经网络不一定在临界状态下运行，而是在临界点的动态丰富区域内运行，在那里它们可以根据任务要求调整其计算属性。此外，它建立了神经形态硬件，作为探索生物可塑性规则对神经计算和网络动力学的影响的快速且可扩展的途径。

海德堡大学的第一作者本杰明·克莱默说：“下一步，我们现在研究并表征突刺网络的工作点对人工和现实世界中的话语进行分类的影响。”