用于低内存IoT设备的神经网络

俄罗斯的一位科学家开发了一种新的神经网络架构，并测试了其在手写数字识别方面的学习能力。网络的智能被混乱放大，分类精度达到96.3%。该网络可用于带有少量RAM的微控制器中，并嵌入鞋或冰箱等家庭用品中，从而使其变得“智能”。该研究发表在《电子》杂志上。

如今，寻找可以在带有少量随机存取存储器(RAM)的微控制器上运行的新神经网络尤为重要。为了进行比较，在普通的现代计算机中，随机存取内存以GB为单位进行计算。尽管微控制器的处理能力明显低于笔记本电脑和智能手机，但它们却更小巧，可以与家居用品连接。智能门，冰箱，鞋子，眼镜，水壶和咖啡机为所谓的环境智能奠定了基础。该术语表示互连的智能设备的环境。

环境智能的一个例子是智能家居。内存有限的设备无法存储大量密钥以进行安全的数据传输和神经网络设置数组。由于缺乏所需的计算能力，因此可以防止将人工智能引入物联网设备。但是，人工智能将使智能设备在分析和决策上花费更少的时间，更好地了解用户并以友好的方式为他们提供帮助。因此，例如在卫生保健领域，在创建环境情报方面会出现许多新的机会。

俄罗斯彼得罗扎沃茨克州立大学的Andrei Velichko创建了一种新的神经网络体系结构，该体系结构可有效利用少量RAM，并为将低功耗设备引入物联网提供了机会。称为LogNNet的网络是前馈神经网络，其中信号仅从输入到输出进行定向。它对输入信号使用确定性混沌滤波器。系统会随机混合输入的信息，但同时会从最初不可见的信息中提取有价值的数据。储层神经网络使用了类似的机制。为了产生混乱，应用了一个简单的逻辑映射方程，在该方程的基础上，下一个值被计算出来。该方程式通常用于群体生物学中，并作为计算混沌值序列的简单方程式的示例。这样，简单方程式就存储了由处理器计算出的无限数量的随机数，并且网络体系结构使用它们并消耗较少的RAM。

这位科学家测试了来自MNIST数据库中手写数字识别的神经网络，该数据库被认为是训练神经网络识别图像的标准。该数据库包含超过70,000个手写数字。这些数字中有六万个用于训练神经网络，另外一万个用于网络测试。网络中的神经元和混乱越多，识别图像的效果就越好。网络实现的最大精度为96.3%，而开发的体系结构使用的RAM不超过29 KB。此外，LogNNet使用很小的RAM大小(1-2kB范围)证明了令人鼓舞的结果。微型控制器Atmega328可以嵌入到智能门甚至智能鞋垫中，具有大约相同的内存量。