大脑的记忆能力会激发AI专家减少神经网络的健忘能力

麻省大学阿默斯特分校和贝勒医学院的人工智能(AI)专家报告说，他们已经从已知的人脑记忆机制中汲取了灵感，从而成功解决了所谓的“增加AI功能的长期存在的主要障碍”作为“重播”。

Baylor的第一作者和博士后研究员Gido van de Ven和首席研究员Andreas Tolias与UMass Amherst的Hava Siegelmann一起在Nature Communications中写道，他们已经开发出一种新方法来保护“令人惊讶地有效”的深度神经网络免受“灾难性遗忘” ;“ 在学习新课程后，网络会忘记他们以前学过的东西。

Siegelmann及其同事指出，深度神经网络是最近AI发展的主要推动力，但这种遗忘阻碍了进步。

他们写道：“一种解决方案是存储先前遇到的示例，并在学习新知识时对其进行重新访问。尽管这种“重播”或“排练”解决了灾难性的遗忘，”他们补充说，“对所有先前学习的任务进行持续的重新培训效率非常低，必须存储的数据量很快变得难以管理。”

与AI神经网络不同的是，人类可以在早期课程的基础上不断累积信息。他们解释说，被认为可以保护记忆免受遗忘的大脑重要机制是重放代表这些记忆的神经元活动模式。

西格尔曼说，该团队的主要见解是“认识到大脑中的重放不会存储数据”。相反，“大脑可以在更高，更抽象的层次上生成记忆的表示，而无需生成详细的记忆。” 受此启发，她和同事们创造了类似于大脑的人工回放，其中没有存储任何数据。相反，就像大脑一样，网络会生成以前所见事物的高级表示。

事实证明，“抽象的生成性大脑重放”非常有效，并且该团队表明，重放仅几个生成的表示足以记住旧记忆，同时学习新记忆。生成性重放不仅可以防止灾难性的遗忘，而且还为系统学习提供了一种新的，更简化的路径，它还使系统可以将学习从一种情况推广到另一种情况。

例如，“如果我们具有生成性重放功能的网络首先学会了将猫与狗分开，然后将熊与狐狸分开，那么它也会在没有经过专门培训的情况下告诉猫与狐狸。而且，值得注意的是，系统学到的越多，学习新任务越好。” van de Ven说。

他和同事写道：“我们提出了一种全新的，受大脑启发的重放方式，其中重放由网络自身的上下文调制反馈连接生成的内部或隐藏表示。我们的方法实现了最新的性能在不存储数据的情况下挑战不断学习基准的挑战，它为大脑中的抽象水平重放提供了一种新颖的模型。”

Van de Ven说：“我们的方法对重播可能有助于大脑记忆巩固的方式做出了一些有趣的预测。我们已经在进行实验，以测试其中的一些预测。”