为嵌入式人工智能提供最简单的内存存储能力

众所周知，生物突触可以在不同的时间尺度上将多个记忆相互叠加，就像早期手稿写作技术的表示被称为“ palimpsest ”一样，其中注释可以与早期写作的痕迹叠加在一起。

生物学上最完整的巩固是通过隐藏的生化过程发生的，这些过程控制着不同生命期的突触功效。这种安排可以促进空闲记忆被覆盖而不忘记它们，同时短期使用以前看不见的记忆。嵌入式人工智能可以显着受益于此类功能;但是，硬件尚未在实践中得到证明。

在现在发表在《科学进展》上的一份新报告中，Christos Giotis 和南安普顿大学和英国爱丁堡大学的电子和计算机科学科学家团队展示了金属氧化物挥发性忆阻器的内在特性如何模仿这一过程生物学的最完整的巩固。

忆阻器是可以调节电路中电流流动以记住流过它的电荷的器件。在不执行特殊指令的情况下，实验性忆阻器突触显示出扩大了一倍的容量，同时保护了统一的记忆，因为多达数百个不相关的短期记忆暂时覆盖了它。结果强调了新兴的记忆技术如何有效地扩展人工智能硬件的能力，以概念化学习记忆。

大脑皮层中的神经网络使用估计的 10 13到 10 14 个突触来产生一系列认知能力，它们重新设计的对应物需要相同数量的可训练参数用于更窄的应用。

为了解释生物智能与人工智能之间的这种学习能力差异，人工智能研究人员建议，突触可以整合多个记忆，以便在不同的时间尺度上揭示出来，就像一个旧书。虽然突触可以记住长期的可塑性事件，但它们可以在短期内表达改变的状态。因此，大脑可以将相同的资源用于一系列计算过程。这种灵活性可以为神经形态硬件提供一个重要的里程碑，将人工智能集成到广泛的前沿、持续的学习系统中。

在实验过程中，研究人员之前设计了主要基于相变存储器材料的突触和基于电阻随机存取存储器 (RRAM) 的忆阻器，以实现超塑性来调整神经网络中人工突触的学习率。

Giotis 和团队在之前的工作的基础上建立了这项研究，旨在将突触可塑性与自动巩固和记忆保护从突触修改中获得的记忆联系起来——这是有效在线学习的重要因素。该团队探索了RRAM 波动性的特征，以模仿隐藏的生化过程，从而促进生物智能的最完整的整合。他们在单个设备中实现了两个合并的时间尺度，以创建一种技术，可以保护具有独特特性的长期存储中的强内存，没有特殊偏差或功能复杂性。

用于复写合并的候选易失性存储器

生物学重述巩固过程假设隐藏变量(例如复杂的生化过程)可以在不同时间尺度上引起突触功效的变化。虽然这些过程仍有待绘制，但它们的表型反应可以通过流体扩散进行建模。研究人员使用二氧化钛-基于易失性忆阻设备，用于检查复写巩固的潜力，并在单个忆阻突触上演示了该过程。结果表明人工突触如何保护隐藏的记忆，同时保留在其上表达另一个记忆以使记忆容量翻倍的灵活性。由于挥发性和非挥发性塑性变化的比率很高，它提供了系统的关键功能参数，因此该产品提供了一个很好的候选者。

操作内存系统

Giotis 和团队构建了一个由六个突触组成的忆阻网络，以加强或巩固两个相互竞争的信号。他们展示了实验设置，其中每一位记忆都被写入相应的忆阻突触，并研究了两个记忆信号如何在突触之间相互作用。突触循环通过一些巩固阶段，科学家们继续从宏观上检查记忆性能。他们将特定记忆的逐渐成功呈现归功于其覆盖竞争记忆的能力，其中噪声的影响是决定性因素。

他们进行了额外的实验和模拟，以量化噪声如何影响记忆性能，结果表明，该设备的特性通过实现从短期记忆到长期记忆状态的可逆性，推动了重写本整合。该网络还显示了熟悉回忆的能力，以识别先前是否存在多个记忆。他们将短期记忆的生命周期描述为短期记忆信号支配长期记忆的时期。这项工作揭示了容量和回忆准确性之间的权衡，以及通过突触特别实现的化生特性。研究人员展示了高水平的整合似乎可以保护长期记忆免受数百个传入的短期记忆的影响。

视觉工作记忆

该团队基于系统中的短期注意力和无监督记忆构建的概念进一步探索了视觉记忆。在实验过程中，他们从现有的工作记忆理论中汲取灵感，构建了一个短期注意力与其记忆能力互补的视觉网络。他们还研究了该系统是否可以在没有监督的情况下识别统计显着性。当他们将长期记忆轨迹与随后的快照进行比较时，他们注意到网络可以自动对合并信号进行去噪。

外表

通过这种方式，Christos Giotis 及其同事专注于已知支持数学模型和深度学习算法学习的二元突触。强烈的双向挥发性和小的非挥发性残留物之间的相互作用促成了该设备的最强大的能力。该研究的未来实施不仅限于二氧化钛技术的选定材料，还可以根据具体应用需求进行研究。该设置展示了从长期记忆到短期记忆的转变，同时也类似于短期注意力机制，有望实现更复杂的人工智能算法。设备的双时间容量类似于已知的双稳态开关控制突触可塑性。该团队将核心可塑性的功能等同于钙/钙调蛋白依赖性蛋白激酶 II 机制的生物学过程;一种主要的生物分子记忆机制。