视觉传感是人类感知外界、认知世界的主要途径，研究表明人类获取的外界信息大约有80%来自于视觉。作为感知外界信息的“电子眼球”，视觉传感器是消费电子、机器视觉、安防监控、科学探测和军事侦察等领域的核心器件。近年来视觉传感器技术发展迅速，不同类型的传感器从不同维度提供丰富的视觉数据，不断增强人类感知与认知能力，视觉传感器研究工作具有重要的理论与应用需求。

近期，天津大学微电子学院、长春长光辰芯光电技术有限公司、中国电子科技集团公司第四十四研究所、中国科学院上海技术物理研究所、中国科学院西安分院和中国科学院西安光学精密机械研究所的科研团队在《中国图象图形学报》期刊上发表了以“光学视觉传感器技术研究进展”为主题的文章。该文章通讯作者为西安光机所汶德胜研究员，主要从事空间光学载荷技术、光电成像技术、快速信号处理技术方面的研究工作。

本文以典型光学视觉传感器技术为主线，通过综合国内外文献和相关报道，从CCD图像传感器、CMOS图像传感器、智能视觉传感器以及红外图像传感器等研究方向，梳理论述近年来光学视觉传感器技术的发展现状、前沿动态、热点问题和趋势。

CMOS图像传感器技术基于传感器工艺架构的不同，主要分为正照式、背照式和堆栈式图像传感器。CMOS图像传感器技术与性能对比如图1和表1所示。

图1 不同架构的CMOS图像传感器技术

国际研究现状

CCD图像传感器

多光谱TDI CCD

时间延迟积分电荷耦合器件（TDI CCD）在扫描成像时，利用TDI CCD行频与扫描速度同步的关系，实现光生信号的累加，达到提高器件响应灵敏度和信噪比的目的。TDI CCD最为典型的应用是作为成像器件应用于卫星遥感对地成像。通过在多个TDI CCD上方的增加带通的滤光片实现不同波长范围的探测，最终采用图像融合方式便可获取彩色影像。

目前国际上只有Teledyne DALSA公司（美国Teledyne下属公司，位于加拿大）提供星用多光谱TDI CCD产品。目前最新的多光谱TDI CCD产品如表2所示。可以看出，目前国际上最新的多光谱TDI CCD发展水平为12288像素分辨率、7 μm像素尺寸、5谱段光谱分辨分辨率。

国际上目前发展了一些以欧洲微电子中心（IMEC）的CCD-in-CMOS工艺制作的 单片式多光谱TDI CCD（Bello等，2017）为代表的新型多光谱TDI CCD（图2和图3）。通常CCD采用专用的工艺线制造，而其驱动电路采用常规的板级电路实现，因而体积大、功耗高。IMEC采用通用的CMOS工艺，将驱动电路与CCD在单片实现，因而大大改善了器件的驱动复杂度同时降低了功耗，还可以实现片上输出信号的处理，极大改善了后续的应用复杂度。

图2 IMEC的CCD-in-CMOS技术

图3 IMEC研制的7谱段单片式多光谱TDICCD

高光谱CCD

高光谱技术是利用分光棱镜或光栅等将入射光光谱分为几十个谱段甚至上百个谱段投射到图像传感器芯片上，以精细光谱分辨力获取目标信息，从而在得到目标的图像的同时，还可获取目标的光谱信息，实现“图谱合一”的技术。由于CCD高均匀性、高动态和介质膜系等简单的特性，在高帧频保证下，目前星用高光谱探测器芯片大多采用CCD。国际上高光谱CCD的主要供应商为Sarnoff公司。Sarnoff公司开发了系列高光谱用CCD产品。

国际上高光谱CCD的发展趋势为：1）更小像素尺寸、更高帧频。像素尺寸从18 μm发展到16 μm，帧频从500帧/s发展到1000帧/s以上。支持高光谱成像仪已经由空间分辨率30 m、光谱分辨率10 nm发展到更高水平。2）更大阵列规模。阵列规模从512 × 512发展到4096 × 256。支持高光谱成像仪的幅宽从几十公里逐渐增大到一百公里以上。

EMCCD

EMCCD即电子倍增CCD，是灵敏度极高的一种半导体光电探测器件。EMCCD在常规CCD的输出区域前增加一段多级倍增区，在高压（40～50 V）下雪崩倍增。EMCCD通过较高的增益，抑制器件的读出噪声，从而在弱光及极弱光下提高器件的信噪比。

在天文观测中，自适应光学系统利用波前探测器实时测量成像系统的波前相位误差，所观测的目标信号比较微弱，采用高帧频的EMCCD是最佳的选择。Teledyne E2V公司开发了一款高帧频EMCCD型号为CCD220（图4）。CCD220像素尺寸为24 μm ×24 μm，最高帧频大于1300帧/s，最大倍增增益大于1000倍。采用背照技术，CCD220峰值量子效率超过90%。

图4 E2V公司CCD220器件实物

Teledyne E2V公司为加拿大开发了一款4 K × 4 K大阵列的EMCCD，型号为CCD282（Gach等，2014）（图5）。CCD282工作在光子计数模式，将用于加拿大10 m光学望远镜。通过降低驱动摆幅降低时钟感生噪声、深度制冷、高增益倍数（≥1 000倍）、>90%的背照量子效率，达到光子计数的最佳性能。

图5 CCD282器件结构与实物

对于EMCCD，电子倍增主要发生在倍增区与相邻的电极之间的边界区域，边界区域界限越长，则倍增增益越大。Stefanov等人（2018）设计了一种低电压的EMCCD，通过增加倍增区与相邻电极的交界几何尺寸，实现了低倍增电压下相对较高的倍增增益。

CMOS图像传感器

正照式架构CMOS图像传感器技术

正照式架构CMOS图像传感器由于其自身架构的局限，填充系数偏低，灵敏度要低于背照式和堆栈式架构的传感器，但因其制造工序相对少，所以其成本也要低于其他架构的同类产品，因此对于一些应用环境光线可控、成本控制要求较高的场景，如工业检测、机器视觉等领域，正照式架构的CMOS图像传感器还有着广泛的市场应用，以Sony、AMS、Teledyne E2V等为代表的图像传感器企业推出了一系列正照式架构光学视觉传感器芯片。

背照式架构CMOS图像传感器技术

背照式架构光学视觉传感器是在正照架构的基础上，对已经加工好的正照传感器晶圆进一步开展绑定支撑硅片、垂直翻转、衬底打薄、表面钝化、镀抗反射膜和焊盘刻蚀等工艺后，实现背照式传感器的制造。通过开展背照式架构的光学视觉传感器技术研究，可以使传感器像素实现100%的填充系数，进一步提升了芯片的灵敏度，所以此类传感器的主要应用领域为生命科学、天文和医疗等低照度应用场景，确保传感器在低照度场景下依然保持着高质量的成像效果，代表性的背照式架构光学传感器企业主要以Sony、Teledyne E2V为主。

堆栈式架构CMOS图像传感器技术

为了满足传感器小型化和多功能化的应用需求，一种全新的传感器架构应运而生，这就是目前最先进的堆栈式架构光学视觉传感器技术，该架构将原本在一个晶圆上的像素区域和电路区域，分别做在了两个晶圆上，并将两块晶圆绑定在一起，该种架构的出现使传感器的像素和电路部分可以进行独立设计及优化，使传感器电路部分可以与像素部分采用不同的制程工艺，使电路性能可以得到进一步的提升。晶圆绑定方式也从最早的硅通孔（TSV）连接，演变成了通过在像素层和电路层的连接面上构建Cu焊盘直接连接的方式进行连接，随着堆栈式架构技术的不断发展，使得未来更多数量的晶圆绑定成为可能，从而使具有集成图像处理功能的视觉传感器成为可能。

Sony最先面向智能手机领域推出了一系列堆栈式架构光学视觉传感器技术，并在iphone、三星、小米和OPPO等多款手机上实现了应用，其主要特点是在像素层和电路层之间新加入了DRAM层（动态随机存储单元），DRAM层在整个CMOS模组当中充当缓存角色，用于存储像素层获取到的图像信息，因此大幅提升了传感器处理数据的速度。由于堆栈式传感器技术推出较晚，受当前技术的成熟度低和成本高的影响，目前的应用领域主要集中在手机等消费类领域。

智能视觉传感器

量子视觉传感器

量子视觉传感器是基于CMOS工艺利用创新的半导体设计在每个像素元件中缩小了转换电容的电容值，从而极大地放大了每个光子产生的电信号。这种极高的信号放大率，解决了传统CMOS图像传感器内部噪声过大的问题，尤其在低照度条件下，光子产生的电信号极弱，传感器内部噪声覆盖信号，使得目标信息无法准确呈现，通过这种方式实现了在室温条件下的单光子探测和光子数分辨（Zizza，2015）。

图6 光子计数图像传感器技术

三维成像视觉传感器

三维成像视觉传感器能够获得图像的三维信息，在科学研究、工业检测、安全监控和消费娱乐等领域具有广泛的应用前景。目前，商用的三维成像技术主要有立体视觉技术，结构光技术以及飞行时间技术（ToF）等。其中ToF技术具有低功耗和微型化的重要优势，能够满足便携式电子设备的需求，已成为目前三维成像视觉传感器的研究热点。

D-ToF传感器通过使用高分辨率的时间数字转换器（TDC）和通常由单光子雪崩二极管（SPAD）实现的高增益光电探测器记录光子入射时间，直接测量光的飞行时间以计算深度（Ota等，2022）。尽管D-ToF传感器可以实现较长的探测距离，但其横向分辨率是有限的。这是因为每个像素通常需要大量的片上存储器和处理单元，以避免SPAD的光子检测概率和暗计数率的影响。在实现具有高横向分辨率的D-ToF传感器时，特别是在极端的环境光条件下，需要在功耗、动态范围和帧速率之间进行权衡。

早期的D-ToF传感器采用正面照射（FSI）CMOS工艺实现，具有像素尺寸大和横向分辨率低的缺点。最近，D-ToF传感器采用了3D堆叠BSI CMOS工艺，以实现小像素尺寸和高横向分辨率。在这些传感器中，像素阵列和逻辑电路可以首先在不同的芯片中单独优化，然后通过面对面键合技术连接。

I-ToF传感器测量调制光的相移来间接计算深度。与D-ToF传感器相比，I-ToF传感器可以实现更高的横向分辨率。这是因为I-ToF传感器可以通过执行简单的计算来检测相移，而无需以像素为单位的大容量存储器和处理单元。然而，由于光源的发射功率有限和光电探测器的灵敏度有限，I-ToF传感器的检测距离很短。此外，I-ToF传感器有两个关键问题：移动物体的运动伪影和背景光的深度误差。

总体来说，目前D-ToF传感器的分辨率已经提高到100万像素，SPAD阵列的功耗在高光照条件下显著增长。在未来，更智能的像素结构和信号处理单元有望实现具有高帧率的节能D-ToF传感器。具有高横向分辨率和深度分辨率的I-ToF传感器已经使用类似于CIS工艺的方法实现。然而，未来仍需要减少来自背景光的运动伪影和深度误差，以提高应用的可靠性。对于H-ToF传感器，可以采用3D 堆叠BSI CMOS工艺来进一步减小像素尺寸并提高横向分辨率。

仿生视觉图像传感器

传统视觉传感器由快门统一控制曝光，以帧为单位记录动态影像画面。例如电影每秒记录24帧画面，但从机器视觉的角度来看，这种传统的传感器仍存在一定的应用缺陷，首先帧间可能丢失高速运动细节信息，因此传统视觉传感器向着高帧率趋势发展；其次每帧重复记录大量静态背景光强信息，因此高帧率高分辨率的视频流对后端计算造成更大的负担，并带来对数据通讯、存储更大的压力。

相较于传统视觉传感器，生物视觉系统在图像信息感知以及处理能力上表现更为优越。研究者受其成像特性的启发，摒弃了帧的概念，提出动态视觉传感器（DVS）和脉冲图像传感器。传统视觉传感器将运动场景量化为图像序列，而动态视觉系统图像传感器仅输出变化像素单元的光强信息，将动态场景量化为微秒级精度的高时间分辨率事件流，并向高速、高精度和小像素尺寸发展。

微光高动态视觉传感器

科技高速发展的时代，安防、汽车和计算机等领域的新视觉应用所需的灵活性更高，需要在室内/室外、白天/夜晚以及各种场景下实时工作。高动态范围（HDR）传感器可以用来实现这一目标，它在高照度和低照度环境下都具有优异的成像性能。

红外图像传感器

自1959年Lawso研制出碲镉汞（HgCdTe，MCT）的长波红外探测器以来，红外探测器的发展前沿、技术引领就掌握在国外几家主要研究机构、厂商手中。近年来常用红外探测器材料有碲镉汞、InGaAs、InAs/InGaSb T2SL、量子阱等。利用这些不同材料的特性，围绕对红外探测器应用需求的不同，国外研究机构开展了一系列相关研究。

大面阵红外探测器

大面阵红外探测器广泛应用于空间红外遥感领域，在天文学观测、光度测量和气象观测等方面具有重要价值。为了平衡视场与分辨率之间的矛盾，解决途径之一就是采用高分辨率、超大规模的红外焦平面探测器组件，并通过拼接单片大面阵来获得更大的探测器阵列规模。国际上美国（Dorland等，2009）、法国（Nedelcu等，2018）、英国（Feautrier等，2022）、比利时（Gershon等，2013）的科研单位和企业均对大面阵红外探测器进行了探索和研究。

美国在大面阵红外探测技术领域研究多年，实现了从1 K × 1 K、2 K × 2 K到4 K × 4 K及更大规模红外探测器的研制，目前在世界红外领域处于领先地位。美国洛克威尔科技公司（RSC）已研制出1 K × 1 K、2 K × 2 K、4 K × 4 K规模的大面阵红外探测器，读出集成电路（ROIC）的演进过程如图7所示。

图7 RSC ROIC的演进过程

美国雷神视觉（RVS）公司长期为天文学提供多种规模的高性能红外探测器芯片组件，阵列尺寸从1 K × 1 K至8 K × 8 K不等，像素间距范围达到8～27 μm，光谱响应范围达到0.4～28 μm（Starr等，2016）。图8中展示了雷神公司生产的碲镉汞4 K × 4 K（像素间距20 μm）的红外探测器阵列。

图8 美国雷神公司HgCdTe 4 K × 4 K红外阵列

宽谱段红外探测器

近年来，宽谱段成像技术由于在遥感、矿产探测和生物医学等方面得到广泛运用而备受关注。

高灵敏度红外探测器

灵敏度是光电探测器最重要的性能指标之一，表示探测器捕获信号的灵敏程度，若数值越高，则探测器对弱光的探测能力越强。比探测率表征了探测器捕获弱信号的灵敏度，可通过降低噪声功率或提高光响应度来增加比探测率。由于暗电流噪声是红外探测器中不可忽略的噪声源，可通过抑制暗电流来降低噪声功率。同时，探测器的响应度由外量子效率与光电导增益决定，可以通过引入高外量子效率和高光电导增益的新结构、新材料来实现响应度的提升（张金月等，2021）。

双色/多色红外探测器

双色或多色探测器同时获得多个波段的目标信息，能够有效抑制复杂背景、排除干扰，从而提高探测目标的能力。双色探测器主要有平面、叠层两种技术路线，如图9所示。

图9 384×288 InAs/GaSb SL双色探测器下拍摄的图像

高温工作型红外探测器

红外探测器通常需要工作在低温条件下以保证较低的暗电流，因为较大的暗电流会严重降低探测器的性能。然而配备制冷机又会增加探测系统的体积，提高成本和设计难度。因此为了降低成本、尺寸、重量和功耗，研究人员提出了高温工作型（HOT）红外探测器，其关键技术在于降低暗电流。非制冷探测器可工作在室温下，常用的热敏材料以氧化钒和多晶硅为主，前者在精度和灵敏度的性能较为突出，后者更易于实现量产（Glozman等，2006）。

以色列SCD公司是InSb中波红外焦平面阵列的代表制造商，生产了多款性能稳定的HOT红外探测器。SCD于2022年（Klipstein等，2022）报道了基于T2SL的XBn和XBp探测器，验证了基于InAs/GaSb和InAs/InAsSb T2SL势垒探测器在中波波段内可在130 K下运行，在长波波段内可在77 K下工作，NETD为15 mK，如图10所示。

图10 150 K温度下 XBn 2560 × 20 485 µm间距Crane探测器的成像演示

红外偏振探测器

偏振作为红外辐射的重要物理特性，红外偏振成像技术能够同时获取红外辐射强度与偏振信息，有效丰富了图像的特征信息。偏振探测能够有效区分人造目标与自然物体，可用于追踪导弹、探测地雷、探查水下目标和识别伪装等任务。

偏振成像可分为分时成像、分振幅成像（Mudge和Virgen，2011）、分孔径成像（Pezzaniti和Chenault，2005）和分焦平面成像。其中，分焦平面成像的偏振元件直接集成在FPA上，因其体积小、集成度高以及系统稳定等优势成为当下偏振成像的主流方式。光学偏振元件作为传统偏振探测器不可或缺的部件，但是会导致其响应低、空间分辨率低、图像配准不佳以及成本较高等问题。若将具有各向异性的半导体材料作为光探测器的感光层，利用其天然的偏振光敏感性，将有效简化偏振探测器的设计，适用于制造新型的偏振光电探测器。

国内研究进展

CCD图像传感器

国内在多光谱TDI CCD、高光谱CCD和EMCCD三方面也取得了重要进展，目前的器件性能达到了国际一流水平。

图11 国产某五谱段多光谱TDI CCD

国内在高光谱CCD的研制上，突破了多抽头健壮性、垂直区高行频技术以及背照高量子效率等关键技术，后续将进行更大阵列规模的高性能高光谱CCD的研制。国内在器件表面镀滤光膜技术实现高光谱技术方面也取得了部分进展。

国内在EMCCD的研制方面，突破了背照高量子效率、多抽头并行读出、高速低噪声放大器以及低RC时间延迟技术，基本达到了工程实用化水平。

图12 中国电子科技集团公司第四十四研究所对标CCD220器件实物

CMOS图像传感器

国内对于CMOS图像传感器技术的研究起步较晚，最初仅有少部分企业开展了面向手机等消费类领域的光学视觉传感器研究，随着我国不断推出对于集成电路产业的扶持政策，越来越多的企业开展了视觉传感器的研究。在科研领域，中国电子科技集团公司第四十四研究所、771所、772所、长春光机所等机构均开展了光学视觉传感器的研究，产品主要面向大型科学装置等应用。在商业领域，长光辰芯、思特威等一系列专注于视觉传感器研发的企业逐渐走向国际，市场份额逐步提升。

正照式架构CMOS图像传感器

长光辰芯成立于2012年，是国内一家专注于高性能CMOS图像传感器的设计的企业，总部位于长春，在国内杭州和大连、比利时安特卫普、日本东京设有研发中心。

背照式架构CMOS图像传感器技术

面向生命科学、天文和微光夜视等低照度成像领域，长光辰芯自2015年起推出了系列化的背照式架构CMOS图像传感器产品，其最新推出的亚电子读出噪声、适用于微光成像的背照式CMOS图像传感器GLUX9701。

堆栈式架构CMOS图像传感器技术

面向电影制作、无人机和专业摄像等领域，长光辰芯发布了全新GCINE系列中首款产品——GCINE4349，这是长光辰芯基于在工业级、科学级CMOS（sCMOS）和摄影级产品方面的技术基础而研发的一款堆栈式架构的传感器产品，该产品专为高端视频成像设计，采用4.3 μm像素设计，49 MP像素全画幅，支持多种读出模式下的8 K或像素合并式4 K分辨率输出。

智能视觉传感器

量子视觉传感器

目前，国内对于量子视觉传感器的研究相对较少，尚处在起步的阶段。如香港城市大学和天津大学方面，针对量子视觉传感器的建模分析、噪声消除和图像重建等方面开展了研究。

仿生视觉图像传感器

领先的融合视觉传感芯片研发商锐思智芯，在事件驱动型传感器领域拥有超过8年研究经验，2022年7月发布了专门为高端成像应用而设计的融合视觉传感芯片ALPIX-Eiger，像素尺寸为1.89 μm，分辨率达到8 MP，通过搭载独创的Hybrid Vision 融合视觉专利技术，在像素层面实现了图像传感和事件感知的融合，可广泛用于手机、运动相机等小型化智能设备。

三维成像视觉传感器

基于飞行时间的三维图像传感器的研究方面，国内的许多高校、科研院所和企业作出了很大的贡献。芯视界在单光子D-ToF（SPAD）技术和应用落地上处于领先地位，是全球率先研究单光子D-ToF三维成像技术的先驱之一。2020年发布了QQVGA分辨率单光子（SPAD）面阵D-ToF传感器VI4310，分辨率为160 × 120、最高支持120 帧/s刷新率，在200 mW的整体超低功耗下（包括DSP和ISP算法）实现10 m的远距离探测，在单芯片上实现了核心感光器件SPAD Array及精准测距电路、图像处理算法等高度集成。

微光高动态视觉传感器

微光高动态图像传感器方面，2018年，中国科学院大学的团队针对科学级CMOS图像传感器进行研究（张元涛，2018），其基底构造与CCD传感器一致，而采用CMOS读出电路的结构，通过这种方式进一步降低系统噪声，同时保证了高灵敏度和大动态范围的成像要求。

红外图像传感器

国内从上世纪80年代后期陆续开始红外焦平面探测器的研制。尽管国内的第2代、第3代红外焦平面技术在材料、器件工艺、读出电路、杜瓦和致冷等方面取得一些进展，完成了几类器件的研制，但还有许多关键技术还没有完全突破，可靠性、工程化和通用化与标准化水平有待进一步提高；第4代产品刚开始进行技术突破，到目前为止，只有为数很少的工程化产品提供使用。虽然近几年国家在红外探测器技术方面加大投入，但总体水平与西方发达国家相比仍有较大差距。

大面阵红外探测器

国内研究大面阵的单位和公司有中国科学院上海技术物理研究所（上海技物所）、昆明物理研究所和华北光电技术研究所等。我国的大面阵探测器在规模和像素尺寸方面都努力向国外看齐，现已有诸多产出，但参数和性能方面仍存在一定差距。

宽谱段红外探测器

中国科学院上海技物所于2014年报道了320 ×256（像素间距30 μm）InAs/GaSb T2SL长波红外焦平面探测器，响应波段为8～12 μm，在77 K测试温度下，探测器100%截止波长为10.5 μm，平均峰值探测率为8.41 × 109 Jones，盲元率为2.6%，不均匀性为6.2%。

高灵敏度红外探测器

中国科学院上海技物所于2022年（于春蕾等，2022）报道了国内首个2 560 × 2 048（像素间距10 μm）InGaAs短波红外焦平面探测器。同时，国内许多学者针对提升探测器的灵敏度，提出了新的技术途径和器件。

目前国内有许多高等院校的科研队伍致力于解决探测器的高灵敏度的问题，已取得显著突破，需要与企业展开密切合作，推动产学研深度融合，尽快将技术途径等科研成果实现产出。

随后，本文还对双色/多色红外探测器、高温工作型红外探测器、红外偏振探测器等进行了介绍。

国内外研究进展比较