光学预处理使计算机视觉更强大更节能

图像分析在现代技术中无处不在：从医学诊断到自动驾驶汽车再到面部识别。使用深度学习卷积神经网络(处理图像的算法层)的计算机彻底改变了计算机视觉。

但是卷积神经网络或CNN通过从先前训练的数据中学习来对图像进行分类，这些数据通常会记住或发展成见。他们还容易受到对抗性攻击的侵害，这些攻击的形式是图像细微，几乎无法察觉，从而导致错误的决策。这些缺点限制了CNN的用途。此外，人们越来越意识到与深度学习算法(如CNN)相关的碳足迹过高。

提高图像处理算法的能效和可靠性的一种方法涉及将常规计算机视觉与光学预处理器相结合。这样的混合系统以最少的电子硬件工作。由于光在预处理阶段即可完成数学功能而不会耗散能量，因此使用混合计算机视觉系统可以节省大量时间和能源。这种新兴方法可以克服深度学习的缺点，并利用光学和电子学的优势。

在最近发表于Optica的一篇论文中，加州大学河滨分校机械工程学教授Luat Vuong和博士生Baurzhan Muminov通过应用光学涡旋，旋绕具有深色中心点的光波，证明了混合计算机视觉系统的可行性。漩涡可以比喻为光绕着边缘和角落传播时产生的流体动力漩涡。

涡流的知识可以扩展为了解任意波型。带有旋涡时，光学图像数据会以突出显示并混合光学图像不同部分的方式传播。Muminov和Vuong指出，使用浅层“小脑”神经网络进行的涡流图像预处理(仅需运行几层算法)就可以代替CNN发挥作用。

Vuong说：“光学涡旋的独特优势在于其数学，边缘增强功能。” “在本文中，我们证明了光学涡旋编码器以一种小的大脑神经网络可以从其光学预处理模式快速重建原始图像的方式生成物体强度数据。”

光学预处理可降低图像计算的功耗，而电子设备中的数字信号识别相关性，提供优化并快速计算可靠的决策阈值。借助混合计算机视觉，光学器件具有速度和低功耗计算的优势，并且CNN的时间成本减少了两个数量级。通过图像压缩，可以在存储和计算复杂性两方面大幅减少电子后端硬件。

Vuong说：“我们在涡旋编码器上的演示表明，光学预处理可以消除对CNN的需求，比CNN更加健壮，并且能够概括反问题的解决方案。” “例如，我们表明，当混合神经网络学习手写数字的形状时，它可以随后重建以前从未见过的阿拉伯或日语字符。”

Vuong和Muminov的论文还表明，将图像缩小为更少的高强度像素能够实现极弱的图像处理。该研究为光子学在构建通用的小脑混合神经网络和开发用于大数据分析的实时硬件方面的作用提供了新见解。