|
“ 研究 / 背景 ” 随着人工智能和自动驾驶的发展，非结构化数据和实时处理问题日益增多。基于冯诺依曼架构的传统计算受到存储器和中央处理器（CPU）物理分离的限制，这使得它们在效率和能耗方面越来越不适合新的应用场景。相比之下，人脑代表了一台复杂的“智能计算机”，其中存储和计算集成在同一个单元之中。由数亿个神经元和突触组成的神经网络具有分布式、并行、低功耗和高容错的特点，能够执行各种智能任务，包括语言处理和图像识别。鉴于这些优势，在1990年，Carver Mead提出了以大脑为灵感的人工神经网络系统，这被认为是克服冯诺依曼瓶颈最有前途的技术之一。人脑由1011个神经元和1015个突触组成的复杂神经网络。突触是神经元之间的连接，是计算和学习的基本单元。因此，模拟突触的生物功能是开发神经形态计算的关键。
近年来，人们提出了电子突触器件的各种结构和原理，如忆阻器、相变存储器、电阻开关存储器和铁电晶体管。尽管取得了重大进展，但电子突触在操作速度、带宽密度和互连性方面仍然有限，因为它们通常是纯电子输入和输出。相比之下，光电突触通过光或电刺激模拟突触功能，并具有非接触操作、低串扰、大带宽和低功耗等显著优势。此外，光电突触的特殊光学响应使它们能够同时结合视觉感知、信息存储和计算，从而模拟人脑的视觉感知和信息处理功能。这一特征对于构建神经形态视觉感知尤其重要。因此，近年来，人们提出了一系列模拟人类视觉系统功能的光电突触器件，包括颜色识别、角度识别、对比度增强、运动检测和视觉适应。
“ 工作 / 亮点 ” 本综述总结了近年来低维材料光电突触器件在神经形态视觉感知方面的先进应用。本文介绍了生物视觉系统的工作原理，光电突触主要工作机制和低维材料的优越性。视觉应用方面，本文从光作为信息载体的角度出发，分为视觉感知和视觉处理两大类介绍了颜色识别、角度识别、对比度增强、动态检测和视觉自适应的先进应用并进行了展望。
图文导读
视觉信息约占人类获取外部信息的80%。图 1 (a)-(b)描述了人类视觉系统和神经形态视觉系统的示意图。图1(a)中，视觉系统由视网膜和视觉皮层构成，视网膜负责将携带视觉信息的光学信号转换为电信号，然后由视网膜复杂的网络结构进行预处理，并传输到视觉皮层进行进一步处理。图1(b)中，神经形态视觉系统由视网膜形态感知层和神经形态计算层组成，光电突触器件作为感知和计算单元以实现光敏和突触的双重功能。
(a) 人类视觉系统的组成和 (b) 神经形态视觉感知的示意图
神经形态视觉感知旨在模拟人类视网膜及其视觉系统，具有感知、存储和预处理光信号的功能。与传统的数字图像系统相比，神经形态视觉感知具有高并行性和低功耗，同时过滤了大部分冗余信息。视觉信号由光携带，光包含波长（颜色）和空间方向信息。在进入视网膜后，光学信号经过进一步的预处理，以实现噪声降低和对比度增强。此外，与时间相关的光学信号输入能够在保持一定视觉阈值范围的同时对物体进行空间运动检测，从而在强光或弱光环境中实现自适应功能，以实现准确的感知。图2到图6从颜色识别、角度识别、对比度增强、运动检测和视觉适应五个角度总结了神经形态视觉感知的先进应用，展示了神经形态视觉感知的巨大潜力和发展。
颜色识别。(a) 单色数字和混色数字识别训练；(b)-(c) 分别为输出神经元的权重映射图像和激活值；(d) 阵列器件的示意图通过图案化掩模识别未知波长的光；(e)-(f) 分别由不同光波长和不同刺激时间的刺激产生的EPSC值；(g) 在不同光波长的刺激下产生图像识别结果
人类视觉系统可以识别光的波长信息，形成颜色识别。类似地，由于多波长光照射材料的光学吸收率和外量子效率不同，光电突触器件可以通过具有不同的突触后电流来实现波长选择性。图2(a)-(c)展示了对单色数字和混合数字训练识别过程，光电神经网路在更短训练周期下实现更好的识别率。图2(d)-(g)展示了对未知波长的光的识别，采用不同波长的光对光电突触进行刺激，将会产生差异化的突触后电流，从而实现波长选择性。
角度识别。(a) 眼睛捕捉空间角度光学信息的示意图；(b) 设备的照度相关动态响应角度；(c) 用于方位识别的共面阵列神经形态晶体管；(d)-(e) 分别测量的EPSC的极坐标图以及测量和与预期和之间的EPSC比率
人类视觉系统具有广角识别能力和时空分辨率。眼睛捕捉光学信息，并通过光电转换将其编码为适当大小的电尖峰。随后，信息被传输到视觉皮层。根据强度、环境角位置和重复等几个因素，信息存储在自然生物突触网络中，如图3(a)所示。皮层细胞中空间坐标和视觉方向的识别是一种众所周知的时空处理范式，在视觉神经网络系统中得到了广泛的研究。空间信息处理功能已经使用人工突触装置阵列进行了演示。图3(b)展示了一个3乘3的器件阵列对来自不同入射角度光的识别效果。除此之外，可以采用一个共面阵列神经形态晶体管阵列识别时空坐标和方向识别，当具有相同幅度的尖峰电压被施加到不同的共面栅格坐标时，由于MoS2晶体管中的不同栅极-沟道耦合路径，可以获得不同的EPSC幅度，结果表明，最大EPSC振幅对应于0°视觉方位，而最小EPSC振幅存在于225°视觉方位。同时，为EPSC振幅定义测量和和和预期算术和，它们可以由突触前方位的函数进行绘制，如图4(c)-(e)。
对比度增强。(a) 分别在强光和弱光激发下的图像记忆；(b) 图像对比度增强演示；(c) 1Hz和10Hz光脉冲下的低对比度增强和高对比度增强
对比度增强是神经形态视觉感知的一个关键特征，它能够对感知数据进行预处理，从而提高信息的质量，并提高图像识别和分类等后续任务的效率和准确性。图4(a)展示了光电突触阵列实时图像对比度增强的功能。分别在不同的光照强度下存储字母F和L，由于更强的光刺激，与字母L相比，字母F表现出更强的记忆效应。图4(b)采用四个不同灰度值进一步演示了对比度增强的效果。图4(c)展示了高低频光激励下图像记忆和对比度增强。
运动检测。(a) 基于视黄硬件的时间相关正和负导电矩阵之和的运动检测原理；(b)-(c) 原始图像和检测到的图像像素分布；(d) 车辆流量响应示例；(e) 忆阻器在50个训练时期前后的重量；(f) 车流检测的识别率
| 
