一种硅图像传感器可计算

任何驾驶员都知道，事故可能在眨眼之间发生——因此，对于自动驾驶汽车的摄像头系统，处理时间至关重要。系统拍摄图像并将数据传送到微处理器进行图像处理所需的时间可能意味着避开障碍物或发生重大事故之间的差异。

传感器内图像处理，通过图像传感器本身而不是单独的微处理器从原始数据中提取重要特征，可以加快视觉处理速度。迄今为止，传感器内处理的演示仅限于新兴的研究材料，至少目前很难将其纳入商业系统。

现在，来自哈佛大学约翰A.保尔森工程与应用科学学院(SEAS)的研究人员开发了第一个可以集成到商业硅成像传感器芯片中的传感器内处理器——称为互补金属氧化物半导体(CMOS)图像传感器——用于几乎所有需要捕获视觉信息的商业设备，包括智能手机。

该研究发表在《自然电子学》上。

“我们的工作可以利用主流的半导体电子行业，将传感器计算快速引入各种现实世界的应用中，”SEAS电气工程和应用物理学GordonMcKay教授、该论文的高级作者DonheeHam说.

Ham和他的团队开发了一种硅光电二极管阵列。市售的图像传感芯片也有一个硅光电二极管阵列来捕捉图像，但该团队的光电二极管是静电掺杂的，这意味着单个光电二极管或像素对入射光的灵敏度可以通过电压进行调节。将多个电压可调光电二极管连接在一起的阵列可以执行模拟版本的乘法和加法运算，这些运算是许多图像处理管道的核心，一旦图像被捕获，就可以提取相关的视觉信息。

“这些动态光电二极管可以在捕获图像时同时过滤图像，允许将视觉处理的第一阶段从微处理器转移到传感器本身，”SEAS的博士后研究员和该论文的第一作者HoukJang说。

硅光电二极管阵列可以编程到不同的图像过滤器中，以消除各种应用中不必要的细节或噪声。例如，自动驾驶汽车中的成像系统可能需要高通滤波器来跟踪车道标记，而其他应用程序可能需要模糊滤波器以降低噪音。

“展望未来，我们预计这种基于硅的传感器内处理器不仅可以用于机器视觉应用，还可以用于仿生应用，其中早期的信息处理允许传感器和计算单元共同定位，例如大脑，”SEAS的研究生、该论文的共同第一作者HenryHinton说。

接下来，该团队的目标是增加光电二极管的密度，并将它们与硅集成电路集成。

“通过将商用硅图像传感器中的标准非可编程像素替换为此处开发的可编程像素，成像设备可以智能地剔除不需要的数据，从而在能量和带宽方面更加高效，以满足下一代图像传感器的需求。感官应用，”Jang说。