下载:
-
物理学的发展激发了人们对电磁波的深入研究, 从射线、紫外线、可见光、红外线、太赫兹、微波到无线电, 新理论和新方法不断被提出, 实现对电磁波的探测、分析和利用. 光学成像技术利用光学成像系统获取光信息, 在空间分辨率、时间分辨率、光谱分辨率、探测灵敏度和多维度成像等方面不断提升, 接近甚至突破了人类视觉的极限[1]. 大口径的望远镜拓展了探测的距离和分辨率, 口径2.4 m的哈勃太空望远镜已经把人类的视界延伸到130亿光年, 而2021年发射的詹姆斯韦伯太空望远镜的主镜总面积是哈勃的6倍以上, 能够在更短的时间内拍出更清晰的星系照片[2-4]. 显微镜打开了微观世界的大门, 并推动了生物学、化学和医学等学科的发展[5]. 为了克服衍射极限的限制, 超分辨率荧光显微镜被提出, 通过控制少量随机离散的荧光分子发光, 采集多张图片并叠加, 使图像分辨率可以达到纳米量级[6]. 荧光共聚焦激光扫描显微镜利用具有轨道角动量的涡旋光的超振荡聚焦能力, 在可见光下的横向分辨率达到了100 nm[7]. 相机作为获取信息的重要途经, 已被广泛用于智能手机、无人机、虚拟现实(VR)眼镜等消费电子领域. 一部手机可以拥有主摄、广角、长焦等多个摄像头以满足不同工作距离下对高质量图像的需求; 一架无人机可以搭载可见光、红外和多光谱相机以实现对不同目标的精确识别; 一副VR眼镜可以拥有十几颗摄像头来追踪人脸和收集信息. 看似小巧的摄像头, 也包括镜头组、对焦马达、红外滤光片、互补金属氧化物半导体(CMOS)图像传感器和光学模组封装. 为了提高成像质量, 镜头组中的镜片数量可达到六七片之多. 此外, 图像传感器的性能也是决定成像质量的关键因素, 通过不断改进CMOS的制作工艺来提高分辨率和动态响应范围. 而CMOS芯片的制作工艺则依赖于光刻机中的光学成像系统, 该系统由数十块独立的透镜和反射镜组成[8], 各种运动装置对每个透镜、反射镜的组件进行精确且细微的调整, 以确保在晶圆上获得完美的图案. 此外, 光刻机的成像系统可采用分辨率增强技术来提高成像质量, 从而提高光刻加工的精度[9].
典型的成像链路包括光源、光学调制元件和探测器. 受衍射极限、加工精度和光学像差等因素的影响, 光学成像系统在分辨率提升和功能扩展方面存在一定的局限. 由于成像和调制原理单一、成像和探测功能有限, 光学成像系统仅能够采集强度信息, 从而丢失了相位、偏振、相干度和角度等其他物理信息. 例如, 在三维成像中, 成像系统仅能采集二维图像, 需要通过多幅图像的处理才能够得到物体的三维数据.
计算成像掀起了光学成像技术领域的巨大变革[10,11]. 它避免了物像共轭的约束, 对成像链路进行全局优化, 利用光学调制元件进行编码, 并在图像重建算法中解码, 从而拓宽了信息的通道, 实现了多维度、高效能的光场信息获取. 计算成像融合了光学技术、电子技术、计算技术等多个学科, 将光学成像系统与计算机处理系统作为一个整体进行设计和优化, 极大拓展了成像系统的功能和应用范围, 先后出现了相位成像、光谱成像、偏振成像、三维成像、光场成像和单像素成像等先进成像技术. 美国国防高级研究计划局(DARPA)设立军事成像和监视技术计划(MIST), 借助计算成像算法提高系统分辨率, 实现更远距离的目标定位与识别, 能够在50 m的距离上实现三维成像[12]. DARPA设立的极端光学和成像计划(EXTREME)利用工程光学材料或超构材料开发新型光学组件以实现轻小和多功能成像, 并与美国国家地理空间情报局合作, 将EXTREME的研究成果转移到无人机的光学系统中[13]. 美国航空航天局将计算鬼成像视为遥感成像系统的替代方案, 利用结构光和一个单像素探测器即可重构目标图像, 对月球拍摄的分辨率可达每度512像素, 实现了超高分辨率成像[14]. 杜克大学的Mikkelsen和哈佛大学的Capasso等[15]获得了政府部门资助, 专门建立“超级相机”研究团队, 旨在搭建简化尺寸和降低重量的多功能感算一体的成像系统. 清华大学的戴琼海院士团队[16]提出基于数字自适应光学技术的元成像传感器, 具有全视场高速像差校正的三维摄影能力, 搭配简单镜头即可实现高达10亿像素的全聚焦超高清成像, 为下一代通用成像传感器的架构带来可能的变革.
未来的成像系统向小型化、集成化和智能化的发展方向不断发展, 成像组件和系统的尺寸、重量和功耗(SWaP)等因素越来越受到关注. 计算成像为设计更小和更简单的光学成像系统提供有力支持, 由此激发了对简单光学的研究. 简单光学以小型化和集成化的成像元件与系统为目标, 将光学系统设计与图像处理算法进行联合优化, 通过优化图像复原算法以降低对光学系统设计的苛刻要求, 同时获得与复杂光学系统相媲美的成像质量, 从而达到精简光学系统、提高能量利用率的目的, 实现逼近尺寸、重量和功耗物理极限的高性能光学成像系统.
典型的简单光学系统常见于X射线成像领域. 由于X射线具有波长短和穿透性强等特性, 通过物质的折射率近似为1, 普通透镜无法对X射线进行反射、折射或聚焦等操作, 因此编码孔径成像应运而生. 早期的X射线编码孔径成像是基于小孔成像的原理, 随着波带片概念的提出, 1951年首次将波带片应用到硬X射线波段, 这是早期的波带片编码孔径成像系统[17]. 随着微纳加工技术的不断发展, 加上平板波带片透镜的空间体积小和使用灵活方便的优点, 在X射线显微成像上应用较为广泛, 目前分辨率已达到10 nm水平[18-20]. 多开孔的编码孔径准直器也是X射线成像系统中常用的振幅掩膜, 并被成功应用于X射线荧光成像, 但仍存在近场成像伪影大和图像分辨率低的不足, 需要进一步优化成像系统和改进复原算法[21-25].
在可见光和红外波段, 基于超构透镜的简单光学成像技术发展迅速, 正在从实验室阶段向产业化阶段迈进. 美国的创业公司Metalenz已完成前期的融资, 以发展基于超构材料的三维成像技术和新型偏振传感技术[26]. 深圳的迈塔兰斯(MetaLenX)公司也正在大力发展平面超构透镜的设计、制造和应用系统开发[27]. 韩国的三星公司正在研发平面超构透镜, 并将利用其代替复杂的多镜头系统, 从而使相机结构更薄[28]. 2022年, 美国光学学会举办了首届平面光学(FlatOptics)专题研讨会, 引起了学术界和产业界的高度关注.
小型化和多功能的简单光学成像系统在消费电子领域的应用, 将会产生巨大的经济价值. 以典型的手机摄像头为例, 2021年全球手机摄像头模组出货量达到48.44亿颗, 预计2022年全年继续增长3%. 摄像头模组厂商包括LG Innotek、Partron、富士康、舜宇光学、丘钛科技、欧菲光等厂商. CMOS厂商包括索尼、三星、海力士、豪威科技、思特威、比亚迪等厂商, 2022年全球CMOS像感器出货量可达到91.4亿颗. 各大公司以创新为发展动力, 通过持续研发投入, 对产品进行迭代升级, 制造轻薄化、集成化与智能化的成像器件, 以满足智能终端与载荷发展的迫切需求. 此外, 国家自然科学基金“十四五”发展规划将新型光学技术、多功能耦合的传感与成像等作为优先发展领域, 鼓励探索创新, 促进科研范式变革和学科交叉融合, 引导科研人员凝练、提出并解决科学问题, 具有巨大的理论研究与工程应用价值[29].
本文归纳了简单光学成像技术中以简单透镜、无透镜和超构透镜为代表的多种光学成像与调制元件和图像处理算法, 简述了简单光学在深度成像、高分辨与超分辨成像、大视场成像和大景深成像等方面的进展, 最后展望了未来的挑战和发展方向.
-
最简单和常用的光学成像系统由透镜组成, 由于透镜对物体的成像能力有限, 存在像差, 从而导致了光学系统中的图像退化, 因此分析像差产生的原因才能更好地复原图像. 对于单透镜, 像差可分为两类, 一类是单色像差, 包括球差、彗差、像散、场曲、畸变; 另一类是由于不同波长的单色光在材料中的折射率不同所引起的色差, 包括位置色差和倍率色差. 在实际成像时, 图像的退化通常由多种像差引起的. 为了克服单透镜的像差, 人们通过增加透镜数量或者引入复杂光学面型等方法实现像差校正, 优化透镜光学系统的成像性能.
随着计算成像技术和微纳加工工艺的不断发展, 光学成像系统迎来了新的机遇. 人们利用轻薄化的光学元件结合智能化的图像复原算法搭建简单光学系统, 如图1所示, 可以同时实现低SWaP与高质量的成像. 简单光学系统中的光学调制元件已经逐渐从单透镜或少透镜发展到衍射光学元件、二元光学元件、超构表面等平板光学元件, 其特征尺寸越来越小, 光场调控的原理和手段也越来越丰富.
图 1 简单光学成像系统示意图
Figure 1. Schematic of the simple optical imaging system.
-
尽管可以通过增加透镜的数量来有效消除成像的像差, 但针对简单透镜成像, 在保证较少透镜数量的前提下, 通过优化图像复原算法, 也有可能得到与复杂透镜组成像相当水平的成像质量. 通过分析简单透镜成像的特点, 可以对透镜设计和复原算法进行联合优化, 把透镜无法消除的像差转移到图像复原算法中解决, 并将复原算法无法补偿的像差反馈到光学设计部分, 来约束透镜的设计. 基于简单透镜成像系统, 从利用图像复原算法提升图像质量并降低光学设计难度的角度出发, 开展了大量的研究工作. 从单透镜优化到单片衍射光学透镜的出现, 从折射-衍射混合元件优化到简单透镜组的整体性能提升, 全方面提高了简单透镜成像系统的成像质量.
-
Schuler等[30]将计算光学应用到单透镜成像系统, 他们将光学像差编码为空间变化的点扩散函数(PSF), 通过非盲去卷积重构清晰图像, 并搭建了一个单透镜相机验证了方法的有效性. Heide等[31]又针对单个平凸透镜成像的图像校正和伪影消除提出了一种新算法, 通过估计每一个通道、空间变化的点扩散函数, 加上一个交叉通道先验执行非盲反卷积, 成功复原图像, 消除彩色条纹. 为了实现更好的成像质量, 除了复原算法外仍需增加透镜的优化设计. Bian等[32]设计了一款单线态非球面透镜, 并结合深度学习方法进行图像风格转换, 得到虚拟相位对比图, 实现了便携式相衬显微成像. Liu等[33]利用深度不变点扩散函数的非球面透镜, 对整个深度范围内的图像进行均匀模糊, 然后构建深度学习网络, 通过计算高保真地重建了图像, 以2.2的F数实现了大景深成像, 如图2所示. Li等[34]进一步将光学设计和深度学习紧密结合, 利用深度学习同时优化透镜表面的参数和复原算法的参数, 并提出一种快速可微光线追迹模型, 实现成像模型对镜头参数可微, 成功研制一款高质量大视场(47°)单镜头成像系统. 光学设计和深度学习相结合的方法可以简化成像系统, 在轻小型光电成像系统的设计中具有广阔的应用前景. 随着对单片透镜成像研究的不断加深, 从纯粹的复原算法发展到与光学设计的联合优化, 成像质量得到显著提升, 但是由于单透镜的像差对成像质量影响巨大, 后期图像复原算法的难度也不断攀升, 而且效果并不理想, 因此研究人员也相继开展了折射衍射混合式和简单透镜组的计算成像研究.
衍射光学元件(DOE)在计算成像技术中可以为研究人员提供更大的设计空间, 因此在简单透镜系统的优化过程中, 也慢慢开始将衍射光学元件结合进来, 实现更高成像性能. Peng等[35]提出一种折衍射混合式光学系统进行宽谱成像, 并通过反卷积算法实现球差和色差校正, 为超薄镜片提供了替代技术解决方案, 如图3所示. Wu等[36]在相机光圈处添加相位掩膜实现单帧、单视点、被动三维成像, 同时采用一个端到端优化框架来联合优化相位掩膜和重构算法, 并利用新设计的相位掩膜搭建原理样机, 在三维成像方面表现优异. Chang等[37]采用端到端优化光学系统和图像处理的方法进行单目深度估计, 使用编码的离焦模糊图作为额外的深度线索, 由神经网络解码, 并评估了几种光学编码策略, 验证了单透镜的色差也可以显著提高深度估计的性能. 与分离式折衍射混合光学系统不同, Peng等[38]将衍射光学和折射光学结合, 提出了一种菲涅耳透镜设计和学习重建构架, 仅使用单个薄板透镜元件就实现了53°大视场成像. 此后, 该团队[39]又设计了一款焦距更短、孔径更小的透镜, 以匹配中小型传感器, 通过色差预校正技术减少彩色条纹伪影, 实现了更好的视觉感知. 衍射光学元件具有高衍射效率、色散性好、设计自由度大、成像功能丰富等优点, 它为简单透镜成像系统带来了更多可能, 可促进光学系统的轻型化和智能化.
-
简单透镜光学成像系统的设计是在成像质量和复原算法之间进行权衡的, 虽然通过计算成像可以优化单透镜的成像质量, 但是成像效果提升程度有限, 由此不少研究人员也将视线放到简单透镜组的成像优化上, 进一步提升简单透镜组在高分辨率、大视场、大景深等方向的成像性能. Zheng等[40]提出了一种大视场简单光学系统的光学-算法协同设计方法, 成功设计出一个由两片透镜组成的简单光学系统, 系统焦距为50 mm, 视场角为46°, F数为5.6, 实现了成像质量可媲美三片式镜头的高分辨率、高像质成像, 如图4所示. Zhan等[41]提出了一种鲁棒而精确的单镜头相机点扩散函数估计方法, 分别设计了包含一片、两片和三片透镜的单镜头相机, 利用相机对原始清晰图像进行拍照得到模糊图像, 通过角点检测得到图像对, 再利用正态Sinh-Arcsinh模型对空变点扩散函数进行估计, 证明了通过结合简单的透镜设计和图像去卷积方法获得高质量图像的可能性. Sun等[42]则提出了一个基于可微分光线追迹渲染引擎的端到端复杂透镜的设计框架, 通过所设计的模型可以对特定成像任务来联合优化镜头模块和图像重建网络, 并在大视场成像和扩展景深成像的典型应用中实现了优于传统透镜设计的图像质量. Tseng等[43]针对现有复杂光学设计与图像处理或分析任务分离的问题, 提出了联合优化方法, 建立一种学习可微的复合光学正向演化模型及一种交替的近端优化方法, 同时实现光学设计工具Zemax的无缝集成, 在车载相机上实现了物体或交通信号灯状态等目标的高质量检测识别. Ji等[44]针对视场和简单图像退化模型对计算成像技术的限制, 提出了一种用于大视场成像、低成本的计算成像方法. 所设计的系统由一个带双球面透镜的广角光学模块和一个用于图像重建的深度学习网络组成, 为提高图像质量对简单光学模块引入了加权斑块退化模型, 并创建了DMPH-SE网络, 在可见光波段和64°宽视场内实现了理想的成像效果.
研究人员将计算成像与简单透镜成像系统完美结合, 在多个方面提升了简单透镜系统的成像性能, 得到了与复杂光学系统相媲美的成像质量, 进一步简化了光学系统的复杂程度, 是未来相机发展的重要方向之一. 简单透镜成像系统的图像质量与其对应的PSF能否准确估计密切相关, 图像复原算法一般也紧紧围绕PSF开展. 表1进一步总结了部分简单透镜成像系统及其实现方法.
序号 成像元件 方法 作者 1 单透镜 估计单透镜PSF函数, 后利用非盲去卷积算法复原图像 Schuler等[30] 2 单透镜 估计单透镜PSF函数, 再基于交叉通道先验执行非盲去卷积算法复原图像 Heide等[31] 3 单透镜 使用快速可微光线追迹模型和基于Res-Unet的恢复网络实现单镜头端到端设计和高质量成像 Li等[34] 4 折衍混合透镜 由可微分光学层的深度相关PSF对全聚焦图像进行编码, 再利用基于U-Net的深度网络对编码图像进行深度图重构 Wu等[36] 5 折衍混合透镜 设计一款菲涅耳透镜, 通过混合PSF在整个视场上产生空间位移不变的点扩散函数, 建立基于变体U-Net、生成对抗网络和知觉损失的深度学习网络实现高质量图像重建 Peng等[38] 6 透镜组 利用基于噪声图像对的正态Sinh-Arcsinh模型的单镜头相机PSF估计方法, 通过非盲去卷积算法获得高质量图像 Zhan等[41] 7 透镜组 利用一个基于可微分光线追迹渲染引擎的端到端复杂透镜的设计框架对特定成像任务联合优化镜头模块和图像重建网络, 重建网络采用U-Net架构 Sun等[42] 8 透镜组 对简单光学模块引入加权斑块退化模型, 建立DMPH-SE网络实现高质量图像重建 Ji等[44] 表 1 简单透镜成像系统及其实现方法
Table 1. Simple lens imaging system and its implementation.
-
随着超精密加工技术和计算机图形学的进步, 研究者们能够设计和制造各种特殊面形的光学元件, 以同时满足系统结构简单、成像效果优良的要求, 近年来, 自由曲面光学系统得到了快速发展. 自由曲面与球面、非球面不同, 它一般不具有旋转对称性, 拥有更大的设计自由度, 能够更精细的控制光线出射角度和方向, 实现对多种像差尤其是轴外的彗差、像散和畸变的校正. 自由曲面不能用球面系数和非球面系数线性表示, 可通过非均匀有理B样条曲面构造、多项式表达、径向基函数等方法对其面型进行描述[45]. 虽然自由曲面系统应用较广泛的领域是照明, 现如今其在成像领域发挥的潜力和作用是无可忽视的.
自由曲面成像系统采用离轴反射结构, 可以消除中心遮拦, 缩小系统尺寸和重量, 具有宽光谱范围内无色差、高透过率、热稳定性好等特点, 在红外成像、大视场成像等领域得到广泛应用. 在红外成像应用中, Beier等[46]提出一种离轴四反无焦全铝自由曲面望远镜, 通过在公共镜体上排列两个光学表面实现系统集成, 减少了后期对准工作, 研制的样机通过系统装调和性能测试, 在6—13 μm长波红外波段达到衍射极限性能. Chen等[47]将视场离轴与孔径离轴相结合, 利用自由曲面校正系统像差, 在8—12 μm长波红外实现了视场角为8°×5°、F数为2的成像系统设计, 如图5所示. Yu等[48]基于离轴两反系统设计了一款具有折射-衍射光学特性的消色差无热反射长波红外自由棱镜, 并验证了其可制造性, 在8—14 μm长波红外实现了视场角为24°×18°、F数为1的成像. 在大视场成像应用中, Meng等[49]设计了一种超宽视场的自由曲面离轴三反系统, 该系统焦距为1000 mm, F数为10, 超宽视场角80°×4°, 具有较高成像质量. Ni等[50]提出了一种基于高斯径向基函数自由曲面的大视场成像系统的设计方法, 实现了具有60°×0.6°视场, 径向和切向畸变分别小于7.6%和0.7%的自由曲面离轴三反成像系统. Zhang等[51]提出了一种自由曲面离轴三反成像系统的自动多解设计方法, 只需要输入系统的参数, 经过自动计算, 就可以得到许多具有不同结构、不同光焦度分配的系统设计, 成像质量可达衍射极限或近衍射极限. 自由曲面可应用于天文观测、航空遥感、光谱成像、虚拟现实、增强现实、光刻机、特定成像系统等多个领域. 自由曲面成像系统当前还面临诸多挑战, 仍需继续探索满足设计要求的全局优化算法, 提升高精度加工、检测和装调技术等, 降低研制与生产成本[52].
-
与聚焦式成像不同, 无透镜成像采用了光学编码器进行场景捕捉[53]. 图像传感器采集的图像经过了调制, 往往不能直接使用, 而是通过与之相配合的图像重建算法来解码, 以重构场景. 根据成像链路中不同的调制机制, 可以将无透镜成像分为照明调制和掩膜调制两大类, 如图6所示. 照明调制的无透镜成像系统利用照明光源的位置、相干性和脉冲时间等特性, 采集一张或一组具有不同编码照明的图像, 然后重建场景. 按照具体成像方式的不同, 可分为投影成像、全息成像和时间分辨成像. 掩膜调制的无透镜成像系统通过在像感器前放置光学掩膜, 实现对目标场景的编码调制. 并且通过特殊设计的掩膜可以实现三维成像、深度估计、光谱成像等功能, 展现出极高的应用潜力. 根据掩膜的调制方式可以分为振幅型掩膜调制和相位型掩膜调制. 振幅型掩膜调制通过对入射光进行部分遮挡或者衰减进行编码调制, 例如小孔成像和编码孔径成像. 相位型掩膜调制利用物理光学原理调制光的相位, 几乎不遮挡或衰减光线, 可以有效解决振幅型掩膜调制中光通量较低的问题, 提升图像信噪比. 常见的相位型掩膜包括相位光栅、扩散器和衍射光学元件.
图 6 无透镜成像分类
Figure 6. The category of lensless imaging.
-
照明调制通过改变照明光源的位置、相干性和脉冲时间等特性实现场景编码, 包括投影成像、全息成像和时间分辨成像.
投影成像技术主要应用在显微领域. 当来自光源的光透过样品投影到传感器上, 阴影图像则表示样品的图像[54]. 为了降低衍射的影响, 样品与传感器的距离远小于样品与光源的距离[55], 传感器记录等比例的阴影图像. Lange等[54]报道了一种用于研究秀丽隐杆线虫的微型微流体投影成像设备, 测量了线虫的活性与环境温度间的函数关系. Ozcan等[56]展示了一种宽视场的投影成像设备, 在传感器上记录细胞的阴影图像, 以监测和计数不同类型的细胞, 其视场面积与像感器面积相当, 为37.25 mm×25.70 mm, 比常规光学显微镜的视场大两个数量级. 为了突破大像素尺寸导致的空间分辨率受限问题, 对流经传感器的样品进行时间维度上的冗余信息采集, 实现亚像素分辨率成像. Cui等[57]通过在传感器上制作亚微米金属孔径阵列实现了片上光流体高分辨率显微成像. 在实验中, 当运动的样品与孔径阵列产生相对位移时, 孔径阵列下方的探测器接收到的光强发生变化. 通过光强信息可还原出样品不同位置的透射率, 进而获取样品的高分辨率图像, 如图7(a)所示. Zheng等[58]采用像素超分辨算法, 从一组低分辨率的图像中重建出了亚微米分辨率的图像, 取得0.75 μm的极限分辨率, 超过了像感器像素尺寸3.2 μm的限制.
图 7 照明调制 (a)片上光流体显微成像示意图和装置顶视图[57]; (b)基于多角度照明的合成孔径无透镜显微成像装置[60]
Figure 7. Illumination modulated lensless systems: (a) Schematic diagram of the on-chip optofluidic microscopy and top view of the device[57]; (b) synthetic aperture lensless microscopic imaging device based on multi angle illumination[60].
无透镜全息成像技术使用相干光源或部分相干光源在传感器获得衍射图像[59]. 与投影成像技术类似, 该技术也主要应用在显微领域. 不同的是, 无透镜全息成像技术记录的是复杂的光场信息, 需要进行图像重建, 且重建图像的保真度高于投影成像技术. 一种常用的重建方法是把测量图案看作相干衍射图案, 采用相位恢复算法得到样品的相位和振幅信息. Luo等[60]通过在不同角度照明下的多次测量提供约束信息, 经过物平面和测量平面之间的不断迭代, 重建了生物组织切片的图像, 如图7(b)所示.
时间分辨无透镜成像通过记录光在光路中的反射时间差进行成像, 需要使用脉冲光源和时间分辨传感器. Kirmani等[61]通过模拟展示了使用脉冲光源和小阵列时间分辨传感器的无透镜成像. Wu等[62]在实验上使用条纹相机搭建了时间分辨无透镜成像系统, 并使用迭代算法重建了图像. Satat等[63]提出了一种时间分辨无透镜成像框架, 提供了一种优化传感器位置和照明模式的算法, 并使用压缩感知原理进行重建. 目前时间分辨无透镜成像对硬件要求较高, 大大限制了这项技术的发展.
-
掩膜调制通过在像感器前放置光学掩膜实现对目标场景的编码调制, 包括振幅型掩膜调制和相位型掩膜调制.
振幅型掩膜调制通过对入射光进行部分遮挡或衰减进行编码调制. 小孔成像是光学成像系统的最早形式, 也是振幅型掩膜调制最简单的形式. 但由于小孔成像的通光量较少, 导致成像质量不高, 在现代成像系统中应用较少. 随着对成像系统理论以及图像复原方法的深入研究, Rego等[64]提出了改善小孔成像质量的方法, 即采用联合去噪和去模糊的图像复原处理流程. 该流程结合了基于光学点扩散函数的低通滤波和基于深度学习的去噪网络, 在生成对抗网络中进行共同训练, 实现了高分辨率静态图像和高分辨率视频的重建.
除了通过改进图像复原算法提升信噪比之外, 研究人员采用包含多个通光孔的模板代替小孔, 发展了编码孔径成像, 不仅可以通过增大透光面积提高通光量和信噪比, 还可以大幅减薄成像系统的外形尺寸. 常用的各式掩膜包括波带片编码掩膜[65]、随机孔径阵列[66]、均匀冗余阵列(URA)[67]以及改进的均匀冗余阵列(MURA)[68]等. 由于MURA受到逆问题的不适定性和衍射效应的影响, DeWeert和Farm [69]提出Doubly-Toeplitz掩膜, 其衍射的点扩散函数具有可分离特性, 对宽谱成像有更强的鲁棒性. Asif等[70]设计了FlatCam相机, 将具有50%透过率的二进制掩膜板紧贴放在图像传感器前方~0.5 mm处, 其点扩散函数即为掩膜板的投影. 可分离的掩膜板能够简化成像模型, 降低系统标定和图像复原中的计算复杂度. Adams等[71]提出FlatScope无透镜显微镜, 将掩膜板放置于图像传感器前方0.2 mm处, 成像视场面积可达6.52 mm2, 而具有相同传感器尺寸的传统透镜显微镜成像视场面积仅为0.41 mm2, 该系统还可实现微米级分辨率、高帧率的三维荧光成像. Tajima等[72,73]提出基于菲涅耳孔径(FZA)的振幅掩膜, 与图像传感器间隔约几毫米, 利用条纹扫描的方式抑制重影效应, 通过快速傅里叶变换(FFT)重建图像, 实现了数字重聚焦的功能. 为了消除FZA编码成像中的孪生像问题, 清华大学的Wu等[74]根据孪生像和原始图像在梯度域的稀疏性差异, 构建了全变差正则化下的菲涅耳编码孔径成像重建模型, 减小了孪生像噪声的影响, 提高了成像信噪比. Zhang等[75]将平面编码的孔径阵列和图像传感器集成, 制作了无透镜复眼微系统, 整体尺寸仅为32 mm×36 mm×28.3 mm, 可实现高分辨率、大视场和高帧率的运动目标实时感知.
相位型掩膜调制通过物理光学原理调制光的相位, 几乎不遮挡或衰减光线, 有效地解决了振幅型掩膜调制中光通量较低、图像信噪比不高的问题. 常见的相位型掩膜包括相位光栅、扩散器和衍射光学元件.
相位光栅的周期结构能够对入射光产生0或π的相位调制. Stork等[76,77]提出了相位非对称旋转光栅, 将相位光栅与CMOS光电探测器矩阵集成搭建了超微型无透镜PicoCam相机. Antipa等[78]提出基于散射介质成像的DiffuserCam, 把扩散器放置在图像传感器前方, 扩散器能产生伪随机的点扩散函数, 视场内的每一点分别对应了传感器上独特的伪随机模式的焦散投影, 实现了单帧三维成像. 随后Monakhova等[79]搭建了扩散器与滤光片阵列结合的高光谱相机, 采用滤光片阵列将光谱信息编码到传感器, 扩散器将真实场景中的每一个点映射到多光谱过滤器以实现复用.
衍射光学元件作为一种常用的相位型掩膜, 可以设计不同的点扩散函数, 自由度较高, 且易于加工, 可以实现不同的功能, 而其常见的色差问题则可以通过器件优化和重建算法优化等计算成像的方式减弱. 如表2所示, 在器件优化方面, Peng等[80]提出了基于计算优化衍射透镜高度的消色差方法, 通过平衡不同波长在焦距处的聚焦贡献, 得到了频谱不变的模糊核, 实现了全光谱的高保真彩色衍射成像. Zhao等[81]对DOE的微结构高度进行编码, 利用粒子群优化算法进行优化, 实现了可见光波段的消色差成像. Boominathan等[82]提出一种轮廓线型PSF的掩膜设计, 可以在不同深度处产生高对比度的PSF, 并搭建了PhlatCam, 实现了二维成像、重聚焦和三维成像. 在联合优化方面, Dun等[83,84]将二维DOE简化为一维旋转对称结构, 以降低计算的复杂性, 并采用端到端的联合优化方法, 利用维纳滤波或者神经网络重建图像. Baek等[85]开发了可微分模拟器和神经网络重建方法, 通过自动微分进行联合优化, 实现了单帧高光谱-深度成像. 此外, 多个衍射元件堆叠的方式也经常出现. Heide等[86]提出了将多个衍射光学元件堆叠, 通过改变多个掩膜之间的对准方式, 实现宽光谱成像. Banerji等[87]设计并制造了短波红外的消色差平面多级衍射透镜(MDL), 厚度仅为2.6 μm, 具有良好的成像性能.
序号 工作波长/nm 特点 作者 1 410—690 使用优化方法重新排列PSF的空间和光谱分布, 在硬件上减小色差, 使用交叉尺度先验去卷积重建图像 Peng等[80] 2 400—700 将DOE结构高度编码并使用粒子群算法进行优化, 各 波长模糊核趋于一致, 从而降低去卷积复原的难度 Zhao等[81] 3 Visible
(designed at 532)设计具有轮廓线型PSF的相位掩模, 并使用全变差正则化先验去卷积复原图像, 实现三维成像 Boominathan等[82] 4 420—720 联合优化DOE的高度和图像处理模块的参数, 使用维纳滤波复原图像 Dun等[83] 5 429—699 使用同心环分解的旋转对称衍射消色差设计, 并使用Res-Unet复原图像, 具有高保真成像性能 Dun等[84] 6 420—680 搭建可微分模拟器和神经网络重建方法进行联合优化, 能够实现高光谱深度成像 Baek等[85] 7 Visible
(designed at 550)使用多个DOE堆叠实现变焦, 使用交叉通道先验去卷积复原图像 Heide等[86] 8 875—1675 使用多级衍射透镜实现短波红外成像, 使用维纳滤波去卷积复原图像 Banerji等[87] 表 2 衍射光学元件成像系统
Table 2. Diffractive optical elements imaging system.
掩膜设计和复原算法的不断创新促使了各种掩膜调制成像相机的发展, 如图8所示. 由于掩膜板自身轻薄, 掩膜和像感器之间的距离小, 可大大降低成像系统的整体厚度, 因此基于掩膜调制成像无透镜相机的体积一般远小于传统相机, 在成像系统轻便化方面具有较大的应用价值.
图 8 掩膜调制成像相机的发展历程 2013年Rambus实验室提出相位非对称旋转光栅[77]; 2015年BAE Systems 公司提出可分离Doubly-Toeplitz掩膜[69], Rice大学提出FlatCam[70]; 2017年UC Berkeley提出DiffuserCam[78], 日立公司提出基于菲涅耳孔径的振幅掩膜[73]; 2020年清华大学提出菲涅耳孔径编码[74], UC Berkeley提出用于光谱成像的散射介质相机[79], Rice大学提出基于相位掩膜的PhlatCam[82]; 2021年KAIST提出用于光谱深度成像的DOE[85]; 2022年清华大学提出无透镜复眼微系统[75]
Figure 8. Development of mask-modulated lensless camera. Rambus lab proposed the phase anti-symmetric spiral gratings[77] in 2013; BAE Systems proposed separable Doubly-Toeplitz masks[69], and Rice University proposed FlatCam[70] in 2015; UC Berkeley proposed DiffuserCam[78] and Hitachi proposed amplitude mask based on Fresnel zone aperture[73] in 2017; Tsinghua University proposed the Fresnel zone aperture[74], UC Berkeley proposed Spectral DiffuserCam[79], and Rice University proposed phase mask based PhlatCam[82] in 2020; KAIST proposed DOE[85] for Hyperspectral-Depth Imaging in 2021; Tsinghua University proposed lensless compound microsystem[75] in 2022.
-
超构表面是一种由亚波长尺度单元按特定空间排布的结构, 具有体积小、重量轻、易集成、易共形的特点, 能够对电磁波的振幅、相位等特性进行灵活有效的调控[88]. 通过对电磁波相位的调控, 可以任意地控制电磁波波前的形状, 从而满足实际应用的需求, 是简单光学系统的理想选择[89]. 超构表面的设计首先需要计算出符合需求的目标相位轮廓, 并建立纳米结构与相位的关系库, 再选择与目标相位轮廓匹配的纳米结构[90]. 其中, 相位调控是超构透镜设计中的关键步骤, 其原理包括共振相位[91,92]、传播相位[93,94]、几何相位[95-99]. 如图9所示, 共振相位的调控原理是通过改变单元结构调控共振频率下的目标相位; 传播相位的调控原理是利用光在传播过程中产生的光程差调控相位; 几何相位, 又叫Pancharatnam-Berry(PB)相位, 其调控原理是通过改变微纳结构在平面内的旋转角度, 实现对圆偏振光的相位调控.
图 9 (a) 基于共振相位的超构表面; (b) 基于传播相位的介质脊波导; (c) 庞加莱球与基于几何相位的超构表面
Figure 9. (a) Plasmonic metasurface based on resonance phase; (b) dielectric ridge waveguide based on propagation phase; (c) schematic of the geometric phase with Poincare sphere.
基于共振相位的超构表面, 包括基于米氏共振和法布里-珀罗共振的惠更斯超构表面. Decker等[91]基于惠更斯原理, 采用硅纳米盘阵列在近红外波段实现了2π相位调控, 并给出超构单元的磁模和电模的电磁场分布, 如图10(a)所示. Li等[92]采用硅超构表面实现2π相位调控, 指出当超构表面的高度一定时, 随着周期的增大, 其共振机理由法布里-珀罗共振转变为米氏共振, 并且在这两种共振之间存在一个过渡区, 如图10(b)所示. 由于共振相位超构表面大多基于金属材料, 不可避免引起损耗, 难以实现高效率的光场调控, 并且其相位突变来自于结构共振, 导致共振相位超构表面工作带宽受限.
图 10 (a) 惠更斯超构表面以及电偶极子和磁偶极子的电磁场分布[91]; (b) 硅超构表面示意图以及不同周期超构表面的透射强度随硅柱直径和波长的变化[92]; (c) 介质脊波导结构图以及xz面电场分布[93]; (d) 超构透镜结构单元的侧视图和俯视图以及超构表面的模拟相位图[94]; (e) 超构表面单元与几何相位示意图[96]; (f) 基于耦合纳米棒的集成谐振单元的相位分布[97]
Figure 10. (a) The Huygens’ metasurface as well as the electromagnetic field distribution of electric and magnetic dipoles[91]; (b) schematic of silicon metasurface and the transmission intensity of metasurface depends on the diameter and wavelength of silicon cylinder[92]; (c) schematic diagram of dielectric ridge waveguide and electric field distribution in xz-plane[93]; (d) side-view and top-view of the metasurface building block and simulated phase map for the metasurface[94]; (e) schematic for the metasurface building block and the geometric phase[96]; (f) phase profile of integrated-resonant unit elements based on coupled nano-rods[97].
基于传播相位的超构表面采用介质材料替代金属材料, 进一步提高了带宽和效率, 构建的方法主要分为基于波导光学理论和基于介质等效折射率理论, 其相位响应与入射光的偏振类型无关, 能够满足大多数应用场景的要求. Khorasaninejad等[93]选择采用介质脊波导作为超构单元, 经过亚波长距离的传播提供所需的相位, 从而控制电磁波的传播方向, 如图10(c)所示. 随后, 该团队制备了厚度小于600 nm的超构表面, 如图10(d)所示, 该超构表面可以将入射光聚焦到亚波长范围内, 在红、绿、蓝波长下具有高效、偏振不敏感的特点[94].
基于几何相位的超构表面极大地降低了超构表面设计的复杂性, 并且几何相位只与入射光偏振和结构旋向有关, 而与入射光的频率和材料无关[95]. Khorasaninejad等[96]通过旋转二氧化钛纳米柱在平面内的角度对电磁波进行调控, 实现对入射光的汇聚, 如图10(e)所示, 在波长为405, 532和660 nm时聚焦效率分别为86%, 73%和66%. Wang等[97]采用集成共振与几何相位相结合的方案, 对不同波长圆偏光的相位进行调控, 可消除1200—1680 nm范围内的色差, 如图10(f)所示.
基于超构表面的相位调控原理, 研究人员在设计超构透镜时采用了一种或多种调控机制实现像差校正, 以得到更优异的成像质量, 并针对高数值孔径成像、大视场成像、高分辨成像和三维成像等需求, 设计了单片和多片超构透镜相机, 如表3所示. 对于单片超构透镜相机, Chen等[100]采用双面超构透镜与反射镜相结合的薄饼设计, 利用偏振空间折叠成像方案压缩成像距离, 其中超构透镜的直径为320 μm, 焦距为800 μm, 数值孔径NA为0.42, 如图11(a)所示. Tseng等[101]设计了一款尺寸只有盐粒大小的超构透镜相机, 该相机最大孔径为0.5 mm, F数为2, 可实现宽视场彩色成像, 如图11(b)所示. Zhang等[102]采用单片直径为12 mm的超构透镜, 焦距为4.48 mm, 视场角FOV为178°, 可实现大视场热成像, 如图11(c)所示. 随后, Zhang等[103]提出了一种宽带消色差全斯托克斯成像偏振仪, 在9—12 μm的任意偏振光入射时, 将平均串扰降低3倍以上. She等[104]采用可伸缩超构表面制作了一个直径2 cm的满足理想薄透镜方程的超构透镜, 在1550 nm实现了高质量成像, 如图11(d)所示. 多片超构透镜能够收集更多的光场信息, 双片超构透镜可实现三维立体成像, 超构透镜阵列能够提升数值孔径和效率. Liu等[105]设计了双筒超构透镜相机, 其中单片超构透镜的直径为2.6 mm, 焦距为10 mm, NA为0.13, 相机的空间分辨率为2.05 μm, 深度测量精度可达50 μm. Zhao等提出双孔径、三孔径和四孔径的设计方案, 其填充因子分别为0.32, 0.53和0.55, 利用合成孔径的方法实现了与大孔径相机相当的成像分辨率[106]. Hou等[107]采用2×2个直径5 cm的超构透镜制作了一款轻型长波红外相机, 能够对数十米距离的目标进行成像, 如图11(e)所示. Chen等[108]采用1×17个直径为0.3 mm的超构透镜搭建了尺寸为1 cm×1 cm×0.3 cm的平面广角相机, 焦距为450 μm, FOV>120°, 如图11(f)所示. Xu等[109]将6×6个超构透镜直接组装在CMOS图像传感器上, 在不降低分辨率的情况下可实现NA为0.37的高数值孔径成像.
序号 工作波长/μm 特点 作者 1 0.98 采用单片直径为320 μm的a-Si/SiO2超构透镜, 焦距为800 μm, NA为0.42 Chen等[100] 2 0.4—0.7 采用单片直径为0.5 mm的Si3N4/SiO2超构透镜, 焦距为1 mm, FOV为40° Tseng等[101] 3 9.3—10.6 采用单片直径为12 mm的Si/蓝宝石超构透镜, 焦距为4.48 mm, FOV为178° Zhang等[102] 4 9—12 采用2×3个直径为1.7234 mm的全Si超构透镜, 焦距为1 cm, 将平均串扰降低3倍以上 Zhang等[103] 5 1.55 采用单片直径为2 cm的a-Si/SiO2超构透镜, 焦距为50 mm, NA为0.2 She等[104] 6 0.42—0.65 采用双筒直径为2.6 mm的GaN超构透镜, 焦距为10 mm, 深度测量精度可达50 μm Liu等[105] 7 0.8 采用多个直径为2 mm的a-Si/SiO2超构透镜, 焦距为30 mm, 利用合成孔径实现了与大孔径常规透镜相当的成像分辨率 Zhao等[106] 8 10.6 采用2×2个直径为5 cm的全Si超构透镜阵列, 焦距34 mm, NA为0.592 Hou等[107] 9 0.47 采用1×17个直径为0.3 mm的Si3N4/SiO2超构透镜阵列, 焦距为450 μm, FOV>120° Chen等[108] 10 0.63 采用6×6个直径为0.2 mm的a-Si/Si超构透镜阵列, 焦距为250 μm, NA为0.37 Xu等[109] 表 3 超构透镜相机
Table 3. Metalens cameras.
图 11 超构透镜相机 (a) 薄饼超构透镜相机[100]; (b) 盐粒大小的超构透镜[110]; (c) 超构透镜热成像相机[102]; (d) 近红外超构透镜相机[104]; (e) 长波红外超构透镜相机[107]; (f) 超构透镜阵列集成广角相机[108]
Figure 11. Metalens cameras: (a) Pancake metalens camera[100]; (b) metalens of salt grain size[110]; (c) metalens thermal imaging camera[102]; (d) near infrared metalens camera[104]; (e) long-wave infrared metalens camera[107]; (f) metalens array integrated wide-angle camera[108]
一般情况下, 超构透镜的工作带宽较窄, 通过与计算成像相结合, 不仅可以拓展其工作带宽, 还可以利用其光谱和空间分布的特点实现多光谱成像. Colburn等[111]设计了具有频谱不变PSF的扩展景深超构透镜成像系统, 能够减小像差并降低系统尺寸, 实现白光照明下的全聚焦成像. Lei等[112]提出了基于超构表面扩散器和深度学习的多光谱散射成像方法, 采用卷积神经网络进行图像复原, 实现实时的图像重建. Anand等[113]提出中红外波段单帧非相干全息术的概念, 采用Lucy-Richardson-Rosen算法快速重建高分辨率三维图像.
三种简单光学成像系统在成像机理、成像性能、加工手段和应用场景方面各具特色. 简单透镜依靠面型的变化调制入射光波前, 可通过透镜组合的方式补偿色散, 达到消除色差的目的[114]. 简单透镜具有大口径设计、低加工成本等特点, 在照相机、手机摄像头等消费电子领域的应用较广. 掩膜调制元件包括振幅型和相位型两种, 在一定程度上实现了更轻薄的平面化设计, 减小了器件的体积和重量. 振幅型掩膜通过对入射光进行部分遮挡或者衰减进行编码调制, 具有较低的图像信噪比; 相位型掩模有效地解决了振幅型掩膜调制中光通量较低、图像信噪比不高的问题, 但存在较大色差. 掩膜调制元件的特征尺寸为微米级, 可以大批量生产, 在三维成像、显微成像和内窥镜等领域有较多应用[115]. 超构透镜通过亚波长超构单元来调控光场的相位、振幅、偏振等参数, 具有超轻超薄的平面结构, 有利于实现紧凑、多功能的成像, 相比于二元衍射光学元件拥有更大的潜力, 在显微成像、大视场成像、超分辨成像等领域有广阔应用前景[116,117]. 目前超构透镜难以实现大口径加工, 在宽带消色差、高数值孔径下的高聚焦效率等方面还存在挑战有待解决.
-
对于大部分简单光学系统来说, 由于引入了特殊的设计以加强传感器的测量值和目标强度之间的联系, 传感器的测量值和实际目标的强度有较大区别, 需要采用相应的图像重建算法对图像进行复原. 成像模型中传感器的测量值y和目标强度x之间的关系可以写为
$ y=Hx+n\text{, } $ 其中矩阵
$ H $ 取决于成像的特殊设计和各种器件的特性参数, 包括传感器的像素响应函数, 调制器件的选择, 传感器与调制器件的距离, 调制器件与目标的距离以及任何其他系统设计参数, n代表成像系统的噪声. 图像复原问题是一个从测量值反推目标强度的逆过程. 对于一个特定的成像系统, 假设成像模型的矩阵$ H $ 被准确的计算, 传感器测量值y也可以通过拍摄未知目标得出, 那么复原算法的目标就是在给定传感器测量值y和矩阵$ H $ 的情况下估计未知图像x. 但在实际应用中, 模型误差和系统噪声导致了逆问题求解困难. 研究者们提出了不同的求解方法, 常用的复原算法可分为正向求解算法、基于模型的优化迭代算法、深度学习算法. -
在图像的采集、调制和传输过程中, 由于外界环境复杂, 光传输损耗, 以及光学像差和杂光的影响, 将会产生图像退化. 为了得到接近真实的图像, 需要将图像复原的过程模型化, 然后通过取反的过程重建图像.
模型化的具体过程首先是确定图像的退化函数, 但由于在实际的自然场景成像过程中, 退化函数往往是不确定的, 因此应先估计退化函数后再完成图像复原. 常见的退化函数估计法大致可分为试验估计法、观察估计法、模型估计法. 试验估计法是在可以获得类似于退化图像设备的装置中, 通过模拟测试该装置退化的图像, 尽量复原图像. 观察估计法是通过对图像的自身信息进行估计, 常用的方法是观察小部分图像, 可以选择最强信号区, 以减少噪声影响, 然后对图像退化函数进行估计. 模型估计法通过已有的模型知识来估计图像退化函数, 如运动模糊模型、大气湍流模型等. 退化函数确定后, 就可以进行图像复原, 图像复原与退化过程相反, 主要目标是通过构造优化后的退化函数来确定恢复最优效果的复原图. 常用的图像复原方法主要包括逆滤波复原、维纳滤波复原、等功率谱滤波复原、约束最小二乘方滤波复原等方法[118].
逆滤波复原方法的特点是在零噪声的情况下, 能将真实图像完全复原, 缺点是当噪声存在时, 极小的噪声会被放大, 使复原的图像失真或造成剧烈的影响. 维纳滤波复原方法的实质是使复原前后的图像均方误差值最小, 弥补了逆滤波复原的缺陷: 当噪声为零时, 噪声功率谱小, 维纳滤波等同于逆滤波; 当噪声的功率谱远远大于原图的功率谱时, 维纳滤波器的传递函数趋近于零, 避免了噪声存在时逆滤波无法复原的问题. 等功率谱滤波法是指复原前后的图像功率谱相等, 假定图像和噪声都是随机均匀分布的, 噪声为零时, 等功率谱滤波等同于逆滤波; 当噪声存在时, 噪声与图像的功率谱为常数. 在实际图像中, 大部分功率谱的值是未知的, 约束最小二乘方滤波法是在不知道原始图像和噪声的功率谱中, 通过噪声的平均数和方差来实现图像复原的算法.
-
计算光学成像模型是通过在成像系统中加入编码照明、编码掩膜等调制, 结合光波传输模型, 构建目标物体与采集信号之间的正向传播模型, 再利用优化算法求解逆问题, 从而实现高清多维物体重建. 在逆问题求解过程中, 通常会遇到以下几个比较棘手的问题[119]. 1)解法不唯一. 在压缩数据重建高维数据欠定逆问题中, 一个采集信号往往对应着无数种可能的输入解, 因此图像信号无法重建. 2)计算复杂度较高. 现有的成像系统都在向“大数据”收集的方向发展, 因此需要提高数据重建的效率, 实现实时和快速的重建算法. 3)正向传递模型的病态. 对于一个复杂的编码系统来说, 逆问题求解的结果对采集信号的微小扰动是敏感的, 噪声扰动会被放大, 因此需要更苛刻的测量或采集条件进行实验.
针对上述问题, 研究人员希望找到一种精度高、鲁棒性强、计算复杂度低的图像重建方法, 提出在逆问题求解过程中, 通过引入正则化条件来约束解空间的范围, 从而使最终的重建结果位于图像本真信号附近的合理区域, 提高图像重建质量. 通常逆问题可以转化为优化问题, 并采用相应的优化算法来迭代计算出未知图像. 最简单的优化模型是最小二乘法:
$ \hat x = \arg \min \left\| {y - Hx} \right\|_2^2. $ 如果矩阵
$ H $ 不是良态(well-conditioned), 会导致噪声过度放大, 使得复原效果变差. 人们引入正则化项, 代入具有物理意义的先验信息, 使其结果不敏感于噪声和误差.$ \hat x = \arg \min \left\| {y - Hx} \right\|_2^2 + \lambda R(x), $ 其中,
$ R(x) $ 为正则化项,$ \lambda $ 为正则化参数, 用于调节误差与正则化项之间的权重. 常用的正则化技术包括增强平滑的正则化和增强稀疏特性的正则化. 自然景物的图像重建常采用增强平滑的正则化方法, 例如Tikhonov正则化, 全变差(TV)正则化, 稀疏域变换. 其中TV正则化容易平滑掉图像的细节, 出现“阶梯效应”, 因此提出了双边全变差(BTV)[120]、广义全变差(TGV)[121]等方法. 显微生物成像的应用中通常采用稀疏特性的正则化方法, 例如l1或l0范数. 常用的优化迭代求解算法包括迭代收缩阈值算法(ISTA)[122]、两步迭代收缩阈值算法(TwIST)[123]、快速迭代收缩阈值算法(FISTA)[124]、交替方向乘子法(ADMM)[125]等. 其中, ISTA是一种基于近端梯度的迭代算法. 虽然其具有简单、易于实现等优点, 但由于收敛速度较慢, 不能很好地处理大规模问题. TwIST和FISTA都是ISTA的改进加速算法, TwIST利用前两个迭代值更新当前值, 其收敛速度较之ISTA更快, 而FISTA采用了Nesterov动量方法, 以极少的额外计算开销大幅提高了收敛速度, 被广泛用于大规模问题求解. ADMM是一种基于拉格朗日乘子法的优化算法, 可以通过问题拆分求解提升计算效率, 但其参数调节较之前算法更为复杂.随着压缩感知技术的发展, 全变差正则化也被广泛应用到压缩感知图像重建中[126]. 压缩感知成像技术通过硬件编码的方式, 实现对高维、高清图像的压缩采样, 再将压缩信号传输到后端, 利用稀疏正则化和优化算法实现高维数据恢复. 如果信号稀疏, 压缩感知可以通过寻找不确定的线性系统稀疏解, 使信号恢复到原来的状态. 图像信号的压缩通过硬件实现, 后端优化算法实现图像信号的重建. 这样的成像模型可以大大减少信号采集和传输的成本. 可以用线性方程组表示信号的压缩过程:
$y = \boldsymbol\varPhi x$ .$x$ 为原始信号,$\boldsymbol\varPhi $ 为测量矩阵,$y$ 为测量信号.原始信号
$x$ 在稀疏基底$\boldsymbol\varPsi $ 下, 可以表示为一个K稀疏信号$\theta $ , 因此压缩采样可以表示为$y = {\boldsymbol{\varPhi \varPsi }}\theta = {\boldsymbol{A}}\theta $ , 其中A为传感矩阵, 如图12所示. 从测量信号$y$ 恢复$\theta $ , 可以通过稀疏重构的方法, 利用拉格朗日乘子法, 将上述约束最小化的问题转换成无约束的问题来进行:$ \theta = \arg \mathop {\min }\limits_\theta \left\{ {\left\| {y - {\boldsymbol{A}}\theta } \right\|_2^2 + \lambda {{\left\| \theta \right\|}_1}} \right\}. $ 压缩感知数字全息技术可以利用光波衍射的三维传播模型构建从三维物体到二维伽柏全息的正向传输模型, 在只采集单幅同轴全息图的条件下, 利用图像信息本身的稀疏性或在某一变换域中的稀疏性作为正则化条件, 通过压缩感知算法重建真实的三维物理场信息. 高精度的目标图像重建必须满足信号稀疏和正向传输模型“非相干”两个条件. 2009年, Brady等[127-131]在理论上证明了全息衍射的编码方式满足压缩感知成像模型的“非相干”编码要求, 并在实验上仅使用一幅伽柏全息图, 实现了两个蒲公英种子的三维分层重建. 该课题组也研究了针对粗糙表面物体的非相干光场传播模型和毫米波范围内的正向传输模型, 进一步扩展了压缩数字全息在成像物体类型和成像工作波段上的应用范围, 并对球面波照明下的伽柏全息模型进行了分析研究, 实现了视频观测和水蚤的三维重建.
-
传统的成像采样方式是光经过透镜系统后的一对一映射编码过程, 如图13(a)所示. 图13(b)表示一对多的映射关系, 也就是多像素编码的过程. 物体的信息通过衍射传播、编码记录在像感器上, 实现信号的压缩采样, 而图像的重建过程可以利用已知的正向传输模型和图像信号的先验特征, 通过求解优化问题来实现. 典型的成像系统包括编码掩膜成像系统[132]、傅里叶层叠成像系统[133]等. 图13(c)表示一对多映射且编码过程未知的成像系统. 在某些场景下, 编码调制器件具有较高的不可控性或复杂性, 成像系统的编码形式不明, 无法直接构建正向传输模型. 近年来, 利用深度学习算法, 直接训练压缩数据与目标图像的反映射关系, 通过数据驱动和神经网络的方式实现高维度目标图像的实时重构.
图 13 编码成像系统分类 (a) 一对一映射编码已知成像系统; (b) 一对多映射编码已知成像系统; (c) 一对多映射编码未知成像系统
Figure 13. Classification of coding imaging system: (a) One-to-one map encoding with known imaging systems; (b) one-to-many map encoding with known imaging systems; (c) one-to-many map encoding with unknown imaging systems.
深度学习与基于优化的算法相比, 有一些显著的优势. 这些算法很少依赖光传输的物理模型, 而是通过学习图像之间的映射关系去拟合实际的成像模型, 因此, 能够更好地处理已知模型和实际成像过程的误差. 同时, 数据集中包含了重建场景的先验统计信息, 深度学习方法能够根据输入图像的特征分布自动选择合适的参数重建图像. 结合GPU并行计算的高性能硬件平台, 深度学习方法可以实现图像的实时采集和重建, 其计算效率远优于基于迭代的优化算法. 深度学习技术与光学成像方法的结合能有效地提高成像速度与质量, 在数字全息重建[134-137]、三维粒子场成像[138]、相位恢复[139-141]和透过散射介质成像[142,143]等领域已有诸多成功应用. 近年来, 深度学习技术也逐步应用于无透镜成像领域.
当光线经过散射体或悬浮粒子的空间时, 会受到传播介质的影响, 产生随机的光强分布, 因为光线的干涉性质而形成光的散斑. 从一张灰度散斑图像重建彩色图像本质上是一个数据压缩的过程, 根据压缩感知成像理论, 彩色图像重建需要构建光场传输的正向传输模型, 而重建彩色物体将面临重建时间过长、无法实现实时成像的难题, 需要通过优化问题求解的方法.
对于无透镜光谱成像模型来说, 系统的正向传输矩阵H往往很难得到, 经典的压缩成像模型不能使用. 清华大学的Zhang等[119]提出了基于深度学习的散射介质光谱成像算法, 通过数据驱动和神经网络深度学习的方式, 实现单幅灰度散斑图像重建彩色物体, 设计了基于致密模块和Sigmoid激活函数的U型神经网络模型, 构建了基于全变差正则化条件的优化目标函数模型, 利用神经网络模型直接学习从灰度散斑图像到彩色物体分布的映射关系, 提高了神经网络的训练效率, 实验验证了该算法的大视场实时重建能力, 如图14所示.
$\begin{split} N(s;{{\boldsymbol{\hat w}}_i}) =\;& \min\limits_{{w_i}} \big\{ {{\left\| {G - N(s;{{\boldsymbol{w}}_i})} \right\|}_2} \\ & + \lambda {\gamma _{{\text{TV}}}}[N(s;{{\boldsymbol{w}}_i})] \big\}, \end{split} $ 其中,
$ s $ 表示采集到的灰度散斑图样,$ {{\boldsymbol{w}}_i} $ 表示神经网络的参数. 第一项目标函数$ {\left\| {G - N(s;{{\boldsymbol{w}}_i})} \right\|_2} $ 表示神经网络模型输出的光谱图像估计值$ N(s;{{\boldsymbol{w}}_i}) $ 与真值$ G $ 的残差.深度学习作为一种数据驱动的方法, 需要贴合实际场景的数据集进行学习. 目前, 数据集可以通过实验采集或者模拟生成. 实验采集的数据更贴近真实场景, 模拟生成数据的效率更高, 但是通常需要引入衍射和传感器像素响应等光学过程. 深度学习方法通常分为监督学习、半监督或部分监督学习和无监督学习, 此外还有另一类学习方法称之为强化学习, 它通常在部分监督和无监督学习下进行讨论[144]. 深度学习在计算成像领域应用时多采用监督式学习, 在获得的原始数据信息中恢复出目标图像[145]. 常用的神经网络有深度神经网络(DNN)[146]、卷积神经网络(CNN)[147]、递归神经网络(RNN)[148]等, 其中, DNN具有多个隐藏层并采用全连接的形式, 可以自适应地提取高层次的特征, 适用于图像分类、语音识别、自然语言处理等应用, 但是参数数量较多, 容易导致过拟合或陷入局部最优. CNN采用部分连接的形式, 通过卷积和池化等操作有效减少模型参数, 适用于图像分类、分割、识别等应用. RNN能够模拟时序演化的特征, 根据上一时刻的状态自适应地对当前时刻进行处理, 适用于语音识别、自然语言处理等应用.
深度学习在计算成像中主要是为了解决图像映射问题, 实现图像重建[149]. 其中, U-Net卷积神经网络由于搭建简单, 能够针对小数据集进行训练而被广泛使用[150]. 比如, Khan等[151]使用可训练反转层, 用以将测量值映射到中间图像空间; 再使用U-Net以提高重建的效果, 用以生成更真实的图像. U-Net网络也被用于图像深度估计, Wu等[36]利用U-Net网络从编码图像中获取深度图像. 此外, 还可以在现有网络中增加一些网络模块以实现一些特殊功能, 比如, Wu等[152]使用深度反向投影网络(DBPN)以实现超分辨的图像重建. DBPN具有重复的上采样层和下采样层, 提供了误差反馈机制, 实现了特征的自校正并提高输出图像的分辨率[153]. Zhou等[154]提出LasNet, 将物理成像模型与深度学习相结合, 实现了高质量图像重建.
-
基于计算成像全链路优化的思想, 复原算法不再是独立的步骤, 而是与成像系统有机地结合, 利用联合优化能够在保证成像质量的同时进一步简化光学系统的复杂度、降低体积和重量、提高能量利用率, 实现全局性的最优方案[155]. 端到端的成像系统设计流程被提出, 通过突破光学设计和图像后处理之间的壁垒, 找到光学和算法部分在硬件成本、加工可行性、体积重量、成像质量、算法复杂度以及特殊功能间的最佳设计. 在这里简要介绍端到端的处理流程, 以及算法在系统设计中的使用.
端到端处理流程图如图15所示, 成像目标经过调制器件在图像传感器上产生一个模糊的感光图像, 可用物理模型表述为目标图像与调制器件的PSF进行卷积的过程; 采用重构算法由光学模糊图像得到清晰的重构图像, 对应物理模型中的去卷积过程; 计算重构图像与真值图像间的损失函数, 根据计算得到的端到端的指标优化调制器件的结构参数. 基于端到端的联合设计在降低光学设计对人员经验依赖的同时, 将图像后处理自动优化, 为相机的设计提供了更多的自由度, 也为轻量化、特殊功能等计算摄影问题提供了全新的解决思路.
图 15 端到端处理流程
Figure 15. End-to-end pipeline.
光学系统的端到端处理流程在透镜[33,155]、折射衍射混合光学元件[38,83,156,157]以及超构透镜[101]设计中得到广泛应用. Robinson等[158,159]针对单透镜提出了联合优化设计方法, 并与传统设计的单透镜成像质量进行对比, 证明了联合设计方法的优越性. Li等[155]实现了全局优化设计的单透镜和三透镜光学系统, 使得三透镜成像效果可媲美传统六透镜, 为实现低SWaP成像提供了新思路. Sitzmann等[156]建立了一个完全可微分的仿真模型, 联合优化光学系统和复原算法, 并制作了优化的折射衍射混合光学元件, 实现了消色差扩展景深和超分辨率成像. Tseng等[101]提出了一个完全可微分的端到端学习框架来设计超构透镜和图像重建算法, 图像重建误差比现有方法低一个数量级, 实现宽视场彩色成像. 端到端处理流程以实现光学成像全链路优化为目标, 进一步推动了低SWaP成像.
-
随着微纳加工水平的不断提高, 光场调控元件的特征尺寸越来越小, 调控手段也越来越丰富, 从简单透镜发展到无透镜和超构透镜, 光学调控能力的提高促使了感知能力的不断提升, 实现了在空间维度、角度维度、频谱维度、时间维度等多维度信息采集, 并结合计算重构进行信息恢复, 突破传统光学探测的限制, 极大地拓展了应用范围. 简单光学成像技术的不断进步推动了消费电子、无人驾驶、机器视觉、安防监控、生物医疗和元宇宙等产业的发展.
在消费电子领域, 手机摄像头模组包含多片透镜, 导致机身凸起影响美观; 摄像机和照相机具有庞大的体积和重量导致便携性较差. 在无人驾驶领域, 汽车利用摄像头监测周边环境实现全景视觉、紧急避障、自动泊车、自适应巡航等功能; 无人机利用摄像头完成图像和视频的采集, 同时对所搭载成像系统的体积和重量提出了更加苛刻的要求. 在安防监控领域, 摄像头作为信息采集终端, 需要提供清晰且全面的图片或视频, 以便对目标进行监测、跟踪和属性分析; 同时需要提高隐蔽性、降低功耗, 实现全方位、全天候的监测. 简单光学系统的低SWaP成像可以为上述领域提供新的解决方案, 实现低成本、高质量的图像和视频采集.
在生物医疗领域, 生物医学成像和医疗器械是简单光学发展和应用的主要方向. X射线成像利用简单光学系统获取人体组织的有用信息, 实现高分辨的三维成像将极大提高医学成像质量. 小型化、低成本的无透镜显微成像技术可以为资源受限地区的病人提供快捷的实时诊断服务. 简单光学系统也将进一步降低内窥镜或微型机器人的总体体积和重量, 提升医学诊断和治疗水平.
在元宇宙领域, 增强现实(AR)、虚拟现实(VR)和混合现实(MR)等技术将真实世界与虚拟世界相结合, 实现人与虚拟物体、数字资产之间的交互, 并通过结合动作捕捉、三维建模、语音合成等技术打造虚拟立体的数字人. 虚拟现实头戴式显示设备作为元宇宙中基础设施的重要入口受到广泛关注, 为实现一体化设计, 其光学系统从直透式向轻薄化的超短焦折叠光路发展, 各大公司分别推出相应产品, 如Quest Pro, Pico 4和MeganeX. 折叠光路可以同时满足结构紧凑、成像质量优良的要求, 预计将引领未来几年内头显设备的发展.
简单光学成像技术能够契合消费级市场对成像系统小型化、集成化、智能化的要求, 相信在不久的将来, 随着简单光学成像技术的普及, 人们的生产生活将发生极大的改变. 由于不同光学调制元件的调制特点不同, 所能应用的领域也各具特色, 可以根据不同的应用需求来选择、设计和优化元件. 目前简单光学可以实现的成像技术有深度成像、高分辨与超分辨成像、大视场成像和大景深成像, 如图16所示.
图 16 简单光学成像技术分类. 按照顺时针排列依次为: 深度成像, 例如PhaseCam3D[36], 超构透镜阵列深度传感系统[160]; 高分辨与超分辨成像, 例如端到端优化得到的DOE实现超分辨率成像[156], FlatScope原型样机拍照并计算重建图像[71]; 大景深成像, 例如多级衍射透镜的极深焦距成像[161], 由自旋复用超构透镜阵列实现的光场成像系统[162]; 大视场成像, 例如片上集成μ-CE相机[163], 片上180°×360°圆顶成像系统[164], 超构透镜阵列集成广角相机[108]
Figure 16. Categories of simple optical imaging techniques. In clockwise order, they are: Depth imaging, e.g., PhaseCam3D[36], the achromatic meta-lens array depth-sensing system[160]; high resolution and super-resolution imaging, e.g., DOE designed by end-to-end optimization for super-resolution[156], imaging by the FlatScope prototype and computational reconstruction of the image[71]; large depth of field imaging, e.g., the multi-level diffractive lens that exhibits extreme-depth-of-focus imaging[161], light-field imaging system enabled by the spin-multiplexed metalens array[162]; wide field-of-view imaging, e.g., the on-chip integrated μ-CE camera[163], the on-chip 180°×360° imaging system[164], metalens array integrated wide-angle camera[108].
-
深度成像可以获取场景的三维空间信息, 广泛应用于自动驾驶、机器人避障、目标识别、虚拟现实等领域. 与主动式深度测量技术不同, 被动式深度测量技术利用自然光通过光学成像系统获取图像特性, 例如, 立体视觉法、运动测距、聚焦测距、散焦测距、单目深度估计等. 简单光学中的深度成像基于单目深度估计方法, 根据不同深度的物体模糊程度不同, 通过算法还原物体的深度信息. 目前简单透镜、无透镜、超构透镜都有相应的研究成果.
Baek等[165]通过在单透镜前加入双折射晶体引入深度与图像模糊程度的关系, 实现了单镜头深度成像, 同时可以在估计的深度上应用不同的模糊核, 实现重聚焦成像. Carvalho等[166]针对散焦模糊图像的深度估计和三维重建问题, 提出了一个通过散焦深度和神经网络进行单幅图像深度预测的完整系统, 并成功将该方法应用到室内和室外真实散焦图像的深度估计.
相位掩膜通过引入深度相关的PSF, 可以加强场景深度和图像模糊程度的关联. Wu等[36]提出了一种利用相机光圈处的相位掩膜实现单帧、单视点、被动三维成像的方法, 该方法依靠一个端到端优化框架来联合学习最优相位掩膜和重构算法, 可以从捕获数据中精确估计距离, 在三维成像方面表现出优异性能. Boominatha等[82]基于波动光学和相位恢复的方法, 设计了一种具有轮廓线型PSF的相位掩膜, 在不同深度处具有锐利的PSF, 并实现了近距离的三维成像. Baek等[85]采用了PSF随着深度和光谱变化的DOE元件, 将高光谱成像和深度成像结合起来, 实现了可见光波段的高光谱-深度成像. 针对DOE参数化对全聚焦图像质量和深度估计准确性的影响, Liu等[157]进行了研究, 说明具有集中能量的PSF对全聚焦成像有较好性能, 而具有深度相关形状的PSF更适合深度成像. Antipa等[78]采用漫射板产生伪随机的PSF, 通过预先标定不同深度的PSF, 实现了单帧三维成像. Tian等[167]采用定制的微透镜阵列构建相机, 优化得到了适合深度估计的PSF, 并重建三维场景. 此相机拥有大视场, 当障碍物与目标物体很近的时候能够“看穿障碍”.
超构透镜也可实现深度估计. Chen等[160]搭建了一个超构透镜阵列的成像系统, 在明亮环境下, 全部的透镜阵列都被用于收集光场信息, 低照度下部分透镜阵列则作为结构光生成器, 通过神经网络和深度学习实现了全光强下的深度感知. Brongersma等[168]通过在待测样品上覆盖具有多功能光场超构表面的显微镜盖玻片, 获取样品的三维信息. Lee等[169]开发了一种电控虚拟移动超构透镜阵列, 通过调整入射光的偏振来改变成像位置, 并利用该技术实现高分辨率的三维光场成像.
-
由于衍射极限的限制和复杂成像环境的影响, 成像系统采集到的图像分辨率有限. 为了提高图像的分辨率, 一方面基于图像处理提出了超分辨图像重建方法, 另一方面基于成像过程提出了打破原有成像系统衍射极限的实验方法.
超分辨图像重建可以从低分辨率图像中恢复高分辨率图像, 受到了广泛的关注[170], Tsai和Huang[171]研究了利用多帧图像来实现超分辨重建. 经过多年的发展, 超分辨重建技术已经趋于成熟, 可以实现对视频图像、静态图像的有效重建. Sitzmann等[156]使用随机梯度方法, 根据神经网络的输出对光学元件进行端到端优化, 优化后的DOE元件可以实现快照超分辨成像. Chen等[172]通过合成两个不同掩膜传感器距离拍摄到的图像, 提高了受衍射影响的FZA无透镜成像的图像分辨率, 可以将空间分辨率提高到基于几何光学模型传统方法的2倍左右. 在无透镜显微成像领域, 也有一些常用的技术实现超分辨成像, 例如: 基于亚像素位移、多角度照明、轴向扫描、波长扫描的超分辨方法[173]. Adams等[71]提出的FlatScope无透镜显微镜实现了微米级分辨率的三维荧光成像.
此外, 基于仿生学的微透镜阵列也是提供高分辨成像的有效途径. Venkataraman等[174]提出一种超薄高性能单片相机阵列PiCam, 可捕获光场并通过集成视差检测和超分辨获得高分辨率图像和场景深度图. Wu等[16]提出了一种集成扫描光场成像传感器, 通过振动编码微透镜阵列捕捉超精细的四维光场分布, 可以实现高分辨成像和三维摄影. Hu等[163]提出一个微型光电集成的复眼相机, 可实现大视场空间成像、运动目标的位置识别和敏感轨迹监测. Zhang等[75]提出了无透镜复眼微系统, 将长焦子眼形成的多个子视场拼接在一起, 将全景范围内的图像目标成像在单一的多路复用图像传感器上, 采用微机电系统孔径阵列实现了宽视场和高分辨成像.
-
自然界中的昆虫复眼具有大视场、高灵敏度等优点, 因此基于仿生学的微透镜阵列在实现高分辨率成像的同时也可以实现大视场成像. Hu等[163]提出的微型光电集成复眼相机的视场可达90°, Zhang等[75]提出的无透镜复眼微系统具有120°的圆锥视场. 鱼眼镜头也是一种超大视场、大孔径的光学成像系统, Zhang等[175]采用平面多口径鱼眼, 在入瞳附近放置基于超构光栅的偏转板以扩大视场, 仅使用两个平面光学元件就实现了±80°的视场. 为了进一步减小成像系统的尺寸, Toulouse等[164]提出了自由曲面多孔径广角相机的概念, 将视场分成几个孔径, 设计出扁平外形的180°×360°相机. Nakamura等[176]设计了一种基于掩膜的无透镜相机, 其理论成像视场角可达180°. 基于超构透镜灵活高效的光场调控能力, Chen等[108]利用氮化硅超构透镜阵列制作超广角相机, 经过拼接处理后可实现超过120°的大视场成像. 此外, Li等[34]提出一种端到端的单镜头成像系统设计方法, 并成功研制了一个在可见光波段具有47°宽视场单镜头成像系统. Xie等[38]则是利用一个带双球面透镜的广角光学模块和一个用于图像重建的深度学习网络, 实现了在可见光波段的64°宽视场成像.
-
作为成像系统中的重要指标, 景深是指在固定像平面上成清晰图像时对应的物方深度. 通常光学成像系统的景深范围是有限的, 无法在整个视野范围内清晰成像. 增大景深, 拓展成像深度, 可以很好地提升纵向成像范围, 在光学显微、摄像摄影、卫星遥感等领域发挥巨大价值. 增大景深的方法主要是缩小通光孔径, 但也意味着通光量的急剧下降, 极大的降低成像质量. 其他比较常见的方法还有环形孔径法、图像融合法等, 以及利用衍射元件、超构透镜等实现景深扩展.
Banerji等[161]通过设计的多级衍射透镜实现了比传统透镜大4个数量级的焦深, 可以对同一场景中相距6 m的物体同时聚焦. 将焦平面中的相位视为自由参数, 为镜头设计开辟了一个新的方向, 使极大焦深成像成为可能. Colburn和Majumdar[177]设计实现了一个精确的、偏振不敏感的可见光波段超构表面深度相机. 该相机采用一个紧凑的2 mm2光圈, 利用超构表面同时产生一个聚焦加速光束和一个聚焦旋转光束, 利用波前传播不变性在单帧快照中产生成对的相邻图像, 通过在软件中解码捕获的数据, 生成完整的重建图像和横向深度图, 在提高深度精度的同时也拓展了景深. 该项研究提供了一种光学被动测距的解决方案, 实现了比拟高性能相机的功能. 2022年, Fan等[162]从三叶虫的复眼结构中获取了灵感, 在组成器件、系统构架以及重构算法三个层面构建了一套完整的仿生光场成像系统, 利用超构表面的偏振光学特性和色散效应获取目标场景的深度信息, 结合多尺度人工神经网络进行图像重建, 实现了景深范围从厘米量级到公里量级的大景深消色差光场成像.
-
简单光学成像以计算成像为基础, 具有与复杂光学系统相媲美的成像潜力. 一方面, 在提供相同信息量的同时进一步减小了成像系统的尺寸、重量和功耗; 另一方面, 通过引入编码和解码的方式提升了光场信息获取的维度、尺度和分辨率. 简单光学系统有效地解决了传统成像系统中调制能力受限、探测能力受限、重建能力不足等问题, 尤其在尺寸受限的应用场景中发展前景广阔. 此外, 简单光学系统可以通过拼接的方式实现大面积集成, 还可以与柔性电子相结合, 实现各种尺度、各种表面形貌上的高质量成像.
简单光学成像的发展离不开光场调制器件、光学设计软件、图像传感器、复原算法和人工智能等领域的飞速发展, 但同时也存在诸多需要解决的问题和挑战. 为了进一步提升光场调制能力, 光学元件的特征尺寸越来越小, 结构越来越精密, 这对光学元件的加工精度提出了更高的要求. 光刻技术、电子束光刻技术、飞秒激光直写技术、纳米压印技术等微纳加工工艺的发展为光学元件制造提供了有利条件. 光刻技术中光源的波长决定了加工精度, 极紫外光刻技术和超衍射光刻技术是当前需要攻克的关键技术. 电子束光刻技术的分辨率很高且无需掩膜板, 但直写速度较慢、产率低、成本高, 不利于大规模批量生产. 飞秒激光直写技术的优点是能够直写三维结构、可加工材料丰富、成本低, 然而制作周期较长. 纳米压印技术的优点是工艺简单、成本低、周期短、分辨率高, 适合大规模批量生产, 但是其加工过程所需的掩膜制作费用高昂且寿命有限. 随着加工工艺的不断改进和提升, 有望降低大尺寸、高精度光学元件的制作成本.
在光学元件的设计方面, 基于不同的物理模型开发了不同的设计软件, 包括Zemax或Trace Pro等基于几何光学原理的光线追迹仿真软件, 以及Comsol, Lumerical FDTD, CST等基于波动光学和电磁计算的仿真软件. 此外, 基于联合设计的思想, 新的设计方法和流程发展起来, 提出了逆向设计的概念, 采用迭代优化或者深度学习算法来设计不同的结构, 以满足在尺寸、功耗、成本等方面特定的成像需求. 成像链路中的编解码过程建立了场景与图像之间的特定变换关系, 通过光学系统编码和复原算法解码实现了信息的高效传输. 压缩感知的提出改变了对于采样和复原关系的认知, 压缩采样的信号可以利用稀疏正则化和优化算法实现无失真的图像重建, 由此激发了对新兴的复原算法的研究.
在高分辨率、高灵敏度、大动态范围等成像需求以外, 网络化和智能化也是未来发展的必然要求. 计算能力是提取信息过程中不可或缺的, 同时也显著提高了成像系统的功率要求, 因此如何实现高效的计算是需要改进的重要领域. 开发近感计算芯片, 在传感器端直接处理数据, 提高面积、时间和能量效率, 对像素单元进行智能调控与计算压缩, 可减少传感器与计算单元之间的冗余数据移动, 减少能耗和时间延迟, 实现低功耗、实时响应、全天候的图像处理, 可以在消费电子、自动驾驶、工业视觉和安防监控领域的智能终端发挥重要的作用[178]. 此外, 简单光学系统可以直接用于视觉和推理的应用, 而不需要首先获得人眼可以分辨的图像, 为人机交互、目标识别与分类提供有力支撑, 例如开发人脸识别、机器视觉、温度监测、医学图像分割等智能化应用, 有望在物联网、消费电子、元宇宙和生物医疗等领域中发挥重要作用.
-
计算成像为光学成像系统提供了更强大的信息获取能力, 通过在成像链路中引入编解码过程, 在增大信息量的同时降低系统的复杂度, 为实现更简单和更智能的成像系统奠定了基础. 本文总结了以计算成像为基础的简单光学成像技术的发展. 简单光学以小型化和集成化的成像元件与系统为目标, 将光学系统设计与图像处理算法进行联合优化, 在小尺寸、低质量和低功耗的系统中实现与复杂光学系统相媲美的成像效果. 随着微纳加工技术的发展, 简单光学元件从单透镜或少片透镜逐渐发展到衍射光学元件、二元光学元件和超构表面等平板光学元件. 复原算法中总结了正向求解算法、基于模型的优化迭代算法和深度学习人工智能算法. 本文介绍了深度成像、高分辨与超分辨成像、大视场和大景深成像等技术, 以及简单光学在消费电子、自动驾驶、机器视觉、安防监控和元宇宙等领域发挥的作用, 并对未来的发展进行展望.Computational imaging enables optical imaging systems to acquire more information with miniaturized setups. Computational imaging can avoid the object-image conjugate limitation of the imaging system, and introduce encoding and decoding processes based on physical optics to achieve more efficient information transmission. It can simultaneously increase the amount of information and reduce the complexity of the system, thereby paving the way for miniaturizing imaging systems. Based on computational imaging, the simple and compact optical imaging techniques are developed, which is also called simple optics. To develop miniaturized optical imaging elements and integrated systems, simple optics utilizes the joint design of optical system and image processing algorithms, thereby realizing high-quality imaging that is comparable to complex optical systems. The imaging systems are of small-size, low-weight, and low-power consumption. With the development of micro-nano manufacturing, the optical elements have evolved from a single lens or a few lenses, to flat/planar optical elements, such as diffractive optical elements and metasurface optical elements. As a result, various lensless and metalens imaging systems have emerged. Owing to the introduction of encoding process and decoding process, an optical imaging model is developed to represent the relationship between the target object and the acquired signal, from which the computational reconstruction is used to restore the image. In the image restoration part, the algorithms are discussed in three categories, i.e. the classic algorithm, the model-based optimization iterative algorithm, and the deep learning (neural network) algorithm. Besides, the end-to-end optimization is highlighted because it introduces a new frame to minimize the complexity of optical system. In this review, the imaging techniques realized by simple optics are also discussed, such as depth imaging, high-resolution and super-resolution imaging, large field of view imaging, and extended depth of field imaging, as well as their important roles in developing consumer electronics, unmanned driving, machine vision, security monitoring, biomedical devices and metaverse. Last but not least, the challenges and future developments are prospected.
-
Keywords:
- simple optics /
- computational imaging /
- lensless /
- metalens
[1] 戴琼海, 索津莉, 季向阳, 曹汛 2016 计算摄像学: 全光视觉信息的计算采集 (北京: 清华大学出版社) 第3—5页
Dai Q H, Suo J L, Ji X Y, Cao X 2016 Computational Photography Computational Capture of Plenoptic Visal Information (Beijing: Tsinghua University Press) pp3–5 (in Chinese)
[2] 薛艳杰, 薛随建, 朱明, 崔辰州 2014 中国科学院院刊 29 368
Xue Y J, Xue S J, Zhu M, Cui C Z 2014 Bull. Chin. Acad. Sci. 29 368
[3] Adkins J https://www.nasa.gov/mission_pages/webb/main/index.html [2023-2-19]
[4] 郭红锋 2022 军事文摘 516 48
Guo H F 2022 Military Digest 516 48
[5] 李焱, 龚旗煌 2015 物理与工程 25 31
Li Y, Gong Q H 2015 Phys. Eng. 25 31
[6] 毛峥乐, 王琛, 程亚 2008 中国激光 35 1283
Google Scholar
Mao Z L, Wang C, Cheng Y 2008 Chin. J. Lasers 35 1283
Google Scholar
[7] Kozawa Y, Matsunaga D, Sato S 2018 Optica 5 86
Google Scholar
[8] 郭乾统, 李博 2021 集成电路应用 9 1
Guo Q T, Li B 2021 Appl. IC 9 1
[9] 杨朝兴 2016 博士学位论文 (上海: 中国科学院上海光学精密机械研究所)
Yang Z X 2016 Ph. D. Dissertation (Shanghai: Shanghai Institute of Optics and Fine Mechanics, the Chinese Academy of Sciences) (in Chinese)
[10] 边丽蘅, 戴琼海 2022 计算成像与感知 (北京: 人民邮电出版社) 第3—5页
Bian L H, Dai Q H 2022 Computational Imaging and Sensing (Beijing: Post & Telecom Press) pp3–5 (in Chinese)
[11] 左超, 陈钱 2022 红外与激光工程 51 20220110
Google Scholar
Zuo C, Chen Q 2022 Infrared Laser Eng. 51 20220110
Google Scholar
[12] 杨彦杰 2017 红外 38 8
Yang Y J 2017 Infrared 38 8
[13] Shi F https://www.163.com/dy/article/GNI2FICD0511PT5V.html [2022-12-5]
[14] Wright E https://svs.gsfc.nasa.gov/4720 [2022-12-5]
[15] Doshi S https://seas.harvard.edu/news/2021/03/federico-capasso-help-develop-super-camera [2022-12-5]
[16] Wu J, Guo Y, Deng C, Zhang A, Qiao H, Lu Z, Xie J, Fang L, Dai Q H 2022 Nature 612 62
Google Scholar
[17] Authier A 2003 Dynamical Theory of X-Ray Diffraction (London: Oxford University Press) pp479-480
[18] 陈宜方 2022 光学学报 42 1134005
Google Scholar
Chen Y F 2022 Acta Opt. Sin. 42 1134005
Google Scholar
[19] Chao W, Kim J, Rekawa S, Fischer P, Anderson E H 2009 Opt. Express 17 17669
Google Scholar
[20] Mohacsi I, Vartiainen I, Rosner B, Guizar-Sicairos M, Guzenko V A, McNulty I, Winarski R, Holt M V, David C 2017 Sci. Rep. 7 43624
Google Scholar
[21] 孙世峰 2020 物理学报 69 198701
Google Scholar
Sun S F 2020 Acta Phys. Sin. 69 198701
Google Scholar
[22] Dicke R 1968 Astrophys. J. 153 L101
Google Scholar
[23] Ables J 1968 Publ. Astron. Soc. Pac. 1 172
Google Scholar
[24] Haboub A, MacDowell A A, Marchesini S, Parkinson D Y 2014 Rev. Sci. Instrum. 85 063704
Google Scholar
[25] Kulow A, Buzanich A G, Reinholz U, Streli C, Radtke M 2020 J. Anal. At. Spectrom. 35 347
Google Scholar
[26] Glovinski C https://www.metalenz.com/press-release-metalenz-raises-30-million-series-b-led-by-neotribe-ventures-to-address-fast-growing-demand-for-its-breakthrough-metasurface-optics/ [2022-12-5]
[27] Yang X https://36kr.com/p/1673109498994694?channel=wechat [2022-12-6]
[28] Schneider J https://petapixel.com/2021/07/12/samsung-researching-flat-metalens-tech-for-smartphone-integration/ [2022-12-5]
[29] https://www.nsfc.gov.cn/publish/portal0/tab1392/info87786.htm [2022-12-8]
[30] Schuler C J, Hirsch M, Harmeling S, Schölkopf B 2011 International Conference on Computer Vision Barcelona, Spain, November 6–13, 2011 p659
[31] Heide F, Rouf M, Hullin M B, Labitzke B, Heidrich W, Kolb A 2013 ACM Trans. Graph. 32 149
[32] Bian Y X, Jiang Y N, Huang Y R, Yang X F, Deng W J, Shen H, Shen R B, Kuang C F 2021 Opt. Laser Technol. 139 106900
Google Scholar
[33] Liu Y, Zhang C, Kou T, Li Y, Shen J 2021 Opt. Express 29 28530
Google Scholar
[34] Li Z, Hou Q, Wang Z, Tan F, Liu J, Zhang W 2021 Opt. Lett. 46 5453
Google Scholar
[35] Peng Y, Fu Q, Amata H, Su S, Heide F, Heidrich W 2015 Opt. Express 23 31393
Google Scholar
[36] Wu Y, Boominathan V, Chen H, Sankaranarayanan A, Veeraraghavan A 2019 IEEE International Conference on Computational Photography (ICCP) Tokyo, Japan, May 15–17, 2019 p1
[37] Chang J, Wetzstein G 2019 IEEE/CVF International Conference on Computer Vision (ICCV) Seoul, Korea (South), October 27–November 2, 2019 p10192
[38] Peng Y F, Sun Q L, Dun X, Wetzstein G, Heidrich W, Heide F 2019 ACM Trans. Graph. 38 1
[39] Qi B, Chen W, Dun X, Hao X, Wang R, Liu X, Li H, Peng Y 2022 Appl. Opt. 61 1097
Google Scholar
[40] 郑云达, 黄玮, 徐明飞, 潘云, 贾树强, 张晓菲, 卢勇男 2019 中国光学 12 1090
Google Scholar
Zheng Y D, Huang W, Xu M F, Pan Y, Jia S Q, Zhang X F, Lu Y N 2019 Chin. Opt. 12 1090
Google Scholar
[41] Zhan D Z, Li W L, Yin X Q, Niu C Y, Liu J 2021 IEEE Access 9 49338
Google Scholar
[42] Sun Q, Wang C, Fu Q, Dun X, Heidrich W 2021 ACM Trans. Graph. 40 1
[43] Tseng E, Mosleh A, Mannan F, St-Arnaud K, Sharma A, Peng Y F, Braun A, Nowrouzezahrai D, Lalonde J F, Heide F 2021 ACM Trans. Graph. 40 18
[44] Ji J R, Xie H B, Yang L 2023 Opt. Commun. 526 128918
Google Scholar
[45] 程颖 2013 博士学位论文 (天津: 天津大学)
Cheng Y 2013 Ph. D. Dissertation (Tianjin: Tianjin University) (in Chinese)
[46] Beier M, Hartung J, Peschel T, Damm C, Gebhardt A, Scheiding S, Stumpf D, Zeitner U D, Risse S, Eberhardt R, Tunnermann A 2015 Appl. Opt. 54 3530
Google Scholar
[47] 陈炳旭, 廖志远, 操超, 白瑜, 牟达 2020 红外与激光工程 49 20200005
Google Scholar
Chen B X, Liao Z Y, Cao C, Bai Y, Mu D 2020 Infrared Laser Eng. 49 20200005
Google Scholar
[48] Yu J, Wang Y F, Qiu R S, Wang Z S 2022 Infrared Phys. Technol. 123 104207
Google Scholar
[49] Meng Q, Wang H, Liang W, Yan Z, Wang B 2019 Appl. Opt. 58 609
Google Scholar
[50] Ni J, Yang T, Cheng D, Wang Y 2021 Appl. Opt. 60 4491
Google Scholar
[51] Zhang B, Jin G, Zhu J 2021 Light Sci. Appl. 10 65
Google Scholar
[52] 杨通, 段璎哲, 程德文, 王涌天 2021 光学学报 41 0108001
Google Scholar
Yang T, Duan Y Z, Cheng D W, Wang Y T 2021 Acta Opt. Sin. 41 0108001
Google Scholar
[53] 吴佳琛 2022 博士学位论文 (北京: 清华大学)
Wu J C 2022 Ph. D. Dissertation (Beijing: Tsinghua University) (in Chinese)
[54] Lange D, Storment C W, Conley C A, Kovacs G T A 2005 Sens. Actuators B Chem. 107 904
Google Scholar
[55] Ozcan A, McLeod E 2016 Annu. Rev. Biomed. Eng. 18 77
Google Scholar
[56] Ozcan A, Demirci U 2008 Lab Chip 8 98
Google Scholar
[57] Cui X, Lee L M, Heng X, Zhong W, Sternberg P W, Psaltis D, Yang C 2008 Proc. Natl. Acad. Sci. U. S. A. 105 10670
Google Scholar
[58] Zheng G, Lee S A, Yang S, Yang C 2010 Lab Chip 10 3125
Google Scholar
[59] Gabor D 1948 Nature 161 777
Google Scholar
[60] Luo W, Greenbaum A, Zhang Y B, Ozcan A 2015 Light Sci. Appl. 4 e261
Google Scholar
[61] Kirmani A, Jeelani H, Montazerhodjat V, Goyal V K 2012 IEEE Signal. Process. Lett. 19 31
Google Scholar
[62] Wu D, Wetzstein G, Barsi C, Willwacher T, Dai Q H, Raskar R 2014 Int. J. Comput. Vis. 110 128
Google Scholar
[63] Satat G, Tancik M, Raskar R 2017 IEEE Trans. Comput. Imaging 3 398
Google Scholar
[64] Rego J D, Chen H, Li S, Gu J, Jayasuriya S 2022 Opt. Express 30 27214
Google Scholar
[65] Barrett H H, Horrigan F A 1973 Appl. Opt. 12 2686
Google Scholar
[66] Anand V, Katkus T, Linklater D P, Ivanova E P, Juodkazis S 2020 J. Imaging 6 99
[67] Fenimore E E, Cannon T M 1978 Appl. Opt. 17 337
Google Scholar
[68] Gottesman S R, Fenimore E E 1989 Appl. Opt. 28 4344
Google Scholar
[69] DeWeert M J, Farm B P 2015 Opt. Eng. 54 023102
Google Scholar
[70] Asif M S, Ayremlou A, Sankaranarayanan A, Veeraraghavan A, Baraniuk R G 2017 IEEE Trans. Comput. Imaging 3 384
Google Scholar
[71] Adams J K, Boominathan V, Avants B W, Vercosa D G, Ye F, Baraniuk R G, Robinson J T, Veeraraghavan A 2017 Sci. Adv. 3 e1701548
Google Scholar
[72] Shimano T, Nakamura Y, Tajima K, Sao M, Hoshizawa T 2018 Appl. Opt. 57 2841
Google Scholar
[73] Tajima K, Shimano T, Nakamura Y, Sao M, Hoshizawa T 2017 IEEE International Conference on Computational Photography (ICCP) Stanford Univ, Stanford, CA, May. 12-14, 2017 p1
[74] Wu J, Zhang H, Zhang W, Jin G, Cao L, Barbastathis G 2020 Light Sci. Appl. 9 53
[75] Zhang L, Zhan H, Liu X, Xing F, You Z 2022 Microsyst. Nanoeng. 8 83
Google Scholar
[76] Stork D G, Gill P R 2013 The Seventh International Conference on Sensor Technologies and Applications Barcelona, Spain, Auguest 25–31, 2013 p186
[77] Stork D G, Gill P R 2014 Int. J. Adv. Syst. Meas. 7 201
[78] Antipa N, Kuo G, Heckel R, Mildenhall B, Bostan E, Ng R, Waller L 2018 Optica 5 1
Google Scholar
[79] Monakhova K, Yanny K, Aggarwal N, Waller L 2020 Optica 7 1298
Google Scholar
[80] Peng Y F, Fu Q, Heide F, Heidrich W 2016 ACM Trans. Graph. 35 31
[81] 赵玺竣, 范斌, 何一苇, 张豪, 郑书培, 钟烁, 雷嘉明, 杨伟, 杨虎 2022 光学学报 42 1305001
Google Scholar
Zhao X J, Fan B, He Y W, Zhang H, Zheng S P, Zhong S, Lei J M, Yang W, Yang H 2022 Acta Opt. Sin. 42 1305001
Google Scholar
[82] Boominathan V, Adams J K, Robinson J T, Veeraraghavan A 2020 IEEE Trans. Pattern Anal. Mach. Intell. 42 1618
Google Scholar
[83] Dun X, Ikoma H, Wetzstein G, Wang Z S, Cheng X B, Peng Y F 2020 Optica 7 913
Google Scholar
[84] Dun X, Wang Z S, Peng Y F 2019 SPIE/COS Photonics Asia Hangzhou, China, October 20–23, 2020 p111870 I
[85] Baek S-H, Ikoma H, Jeon D S, Li Y Q, Heidrich W, Wetzstein G, Kim M H 2021 IEEE/CVF International Conference on Computer Vision (ICCV) Montreal, QC, Canada, October 10–17, 2021 p2631
[86] Heide F, Fu Q, Peng Y, Heidrich W 2016 Sci. Rep. 6 33543
Google Scholar
[87] Banerji S, Meem M, Majumder A, Dvonch C, Sensale-Rodriguez B, Menon R 2019 Osa Continuum 2 2968
Google Scholar
[88] Chen W T, Zhu A D Y, Capasso F 2020 Nat. Rev. Mater. 5 604
Google Scholar
[89] Zou X J, Zheng G G, Yuan Q, Zang W B, Chen R, Li T Y, Li L, Wang S M, Wang Z L, Zhu S N 2020 Photonix 1 2
Google Scholar
[90] Pan M, Fu Y, Zheng M, Chen H, Zang Y, Duan H, Li Q, Qiu M, Hu Y 2022 Light Sci. Appl. 11 195
Google Scholar
[91] Decker M, Staude I, Falkner M, Dominguez J, Neshev D N, Brener I, Pertsch T, Kivshar Y S 2015 Adv. Opt. Mater. 3 813
Google Scholar
[92] Li J, Wu T, Xu W, Liu Y, Liu C, Wang Y, Yu Z, Zhu D, Yu L, Ye H 2019 Opt. Express 27 23186
Google Scholar
[93] Khorasaninejad M, Capasso F 2015 Nano Lett. 15 6709
Google Scholar
[94] Khorasaninejad M, Zhu A Y, Roques-Carmes C, Chen W T, Oh J, Mishra I, Devlin R C, Capasso F 2016 Nano Lett. 16 7229
Google Scholar
[95] 张飞, 蔡吉祥, 蒲明博, 罗先刚 2021 物理 50 300
Google Scholar
Zhang F, Cai J X, Pu M B, Luo X G 2021 Physics 50 300
Google Scholar
[96] Khorasaninejad M, Chen W T, Devlin R C, Oh J, Zhu A Y, Capasso F 2016 Science 352 1190
Google Scholar
[97] Wang S, Wu P C, Su V C, Lai Y C, Hung Chu C, Chen J W, Lu S H, Chen J, Xu B, Kuan C H, Li T, Zhu S, Tsai D P 2017 Nat. Commun. 8 187
Google Scholar
[98] Berry M V 1984 Proc. R. Soc. Lond. A 392 45
[99] Pancharatnam S 2013 Resonance 18 387
Google Scholar
[100] Chen C, Ye X, Sun J, Chen Y, Huang C, Xiao X, Song W, Zhu S, Li T 2022 Optica 9 1314
Google Scholar
[101] Tseng E, Colburn S, Whitehead J, Huang L, Baek S H, Majumdar A, Heide F 2021 Nat. Commun. 12 6493
Google Scholar
[102] Zhang F, Pu M, Li X, Ma X, Guo Y, Gao P, Yu H, Gu M, Luo X 2021 Adv. Mater. 33 e2008157
Google Scholar
[103] Zhang Y X, Pu M B, Jin J J, Lu X J, Guo Y H, Cai J X, Zhang F, Ha Y L, He Q, Xu M F, Li X, Ma X L, Luo X G 2022 Opto-Electron. Adv. 5 220058
Google Scholar
[104] She A, Zhang S, Shian S, Clarke D R, Capasso F 2018 Opt. Express 26 1573
Google Scholar
[105] Liu X, Chen M K, Chu C H, Zhang J, Leng B, Yamaguchi T, Tanaka T, Tsai D P 2023 ACS Photonics 2 c01667
[106] Zhao F, Shen Z C, Wang D C, Xu B J, Chen X N, Yang Y M 2021 Photonics Res. 9 2388
Google Scholar
[107] Hou M M, Chen Y, Yi F 2022 Conference on Lasers and Electro-Optics (CLEO) San Jose, CA, USA, May 15-20, 2022 p1
[108] Chen J, Ye X, Gao S L, Chen Y X, Zhao Y W, Huang C Y, Qiu K, Zhu S N, Li T 2022 Optica 9 431
Google Scholar
[109] Xu B B, Li H M, Gao S L, Hua X, Yang C, Chen C, Yan F, Zhu S N, Li T 2020 Adv. Photonics 2 066004
[110] Tseng E, Colburn S, Whitehead J, Huang L, Baek S H, Majumdar A, Heide F https://light.princeton.edu/publication/neural-nano-optics/ [2022-12-12]
[111] Colburn S, Zhan A, Majumdar A 2018 Sci. Adv. 4 eaar2114
Google Scholar
[112] Lei Y S, Guo Y H, Pu M B, He Q, Gao P, Li X, Ma X L, Luo X G 2022 Phys. Status. Solidi-Rapid Res. Lett. 16 2100469
Google Scholar
[113] Anand V, Han M, Maksimovic J, Ng S H, Katkus T, Klein A, Bambery K, Tobin M J, Vongsvivut J, Juodkazis S 2022 Opto-Electron. Sci. 1 210006
Google Scholar
[114] 赵丽萍, 邬敏贤, 金国藩, 严瑛白 1998 光学学报 18 621
Google Scholar
Zhao L P, Wu M X, Jin G F, Yan Y B 1998 Acta Opt. Sin. 18 621
Google Scholar
[115] Boominathan V, Robinson J T, Waller L, Veeraraghavan A 2022 Optica 9 1
Google Scholar
[116] 李雄, 马晓亮, 罗先刚 2017 光电工程 44 255
Google Scholar
Li X, Ma X L, Luo X G 2017 Opto-Electron. Rev. 44 255
Google Scholar
[117] 许可, 王星儿, 范旭浩, 刘耘呈, 余轩, 高辉, 熊伟 2022 光电工程 49 220183
Google Scholar
Xu K, Wang X E, Fan X H, Liu Y C, Yu X, Gao H, Xiong W 2022 Opto-electron. Rev. 49 220183
Google Scholar
[118] 蔡利梅 2020MATLAB图像处理: 理论、算法与实例分析 (北京: 清华大学出版社) 第274—298页
Cai L M 2022 MATLAB Image Processing Theory Algorithm and Case Analysis (Beijing: Tsinghua University Press) pp274–298 (in Chinese)
[119] 张华 2020 博士学位论文 (北京: 清华大学)
Zhang H 2020 Ph. D. Dissertation (Beijing: Tsinghua University) (in Chinese)
[120] Farsiu S, Robinson M D, Elad M, Milanfar P 2004 IEEE Trans. Image. Process. 13 1327
Google Scholar
[121] Bredies K, Kunisch K, Pock T 2010 SIAM J. Imaging Sci. 3 492
Google Scholar
[122] Daubechies I, Defrise M, De Mol C 2004 Commun. Pure Appl. Math. 57 1413
Google Scholar
[123] Bioucas-Dias J M, Figueiredo M A 2007 IEEE Trans. Image. Process. 16 2992
Google Scholar
[124] Beck A, Teboulle M 2009 SIAM J. Imaging Sci. 2 183
Google Scholar
[125] Boyd S, Parikh N, Chu E, Peleato B, Eckstein J 2011 Found. Trends Mach. Learn. 3 1
Google Scholar
[126] Wu J C, Cao L C 2022 Acta Photon. Sin. 51 0751412
Google Scholar
[127] Choi K, Horisaki R, Hahn J, Lim S, Marks D L, Schulz T J, Brady D J 2010 Appl. Opt. 49 H1
Google Scholar
[128] Cull C F, Wikner D A, Mait J N, Mattheiss M, Brady D J 2010 Appl. Opt. 49 E67
Google Scholar
[129] Hahn J, Lim S, Choi K, Horisaki R, Brady D J 2011 Opt. Express 19 7289
Google Scholar
[130] Hahn J, Lim S, Choi K, Horisaki R, Marks D L, Brady D J 2010 Biomedical Optics and 3-D Imaging Miami Florida, April 11–14, 2010 pJMA1
[131] Zhang H, Cao L C, Jin G F, Brady D 2020 Laser Optoelectron. Prog. 57 080001
[132] Ma C G, Cao X, Tong X, Dai Q H, Lin S 2014 Int. J. Comput. Vis. 110 141
Google Scholar
[133] Zuo C, Sun J, Zhang J, Hu Y, Chen Q 2015 Opt. Express 23 14314
Google Scholar
[134] Wang H, Lyu M, Situ G 2018 Opt. Express 26 22603
Google Scholar
[135] Wang K, Dou J, Kemao Q, Di J, Zhao J 2019 Opt. Lett. 44 4765
Google Scholar
[136] Ren Z B, Xu Z M, Lam E Y 2019 Adv. Photonics 1 016004
[137] Tahara T, Zhang Y P, Rosen J, Anand V, Cao L C, Wu J C, Koujin T, Matsuda A, Ishii A, Kozawa Y, Okamoto R, Oi R, Nobukawa T, Choi K, Imbe M, Poon T C 2022 Appl. Phys. B Lasers Opt. 128 193
Google Scholar
[138] Wu Y F, Wu J C, Jin S Z, Cao L C, Jin G F 2021 Opt. Commun. 493 126970
Google Scholar
[139] Bai C, Zhou M, Min J, Dang S, Yu X, Zhang P, Peng T, Yao B 2019 Opt. Lett. 44 5141
Google Scholar
[140] Wang F, Bian Y, Wang H, Lyu M, Pedrini G, Osten W, Barbastathis G, Situ G 2020 Light Sci. Appl. 9 77
Google Scholar
[141] Metzler C, Schniter P, Veeraraghavan A, Baraniuk R 2018 Proceedings of the 35th International Conference on Machine Learning Stockholmsmässan Stockholm, Sweden, July 10–15, 2018 p3501
[142] Li S, Deng M, Lee J, Sinha A, Barbastathis G 2018 Optica 5 803
Google Scholar
[143] Li Y Z, Xue Y J, Tian L 2018 Optica 5 1181
Google Scholar
[144] Alom M Z, Taha T M, Yakopcic C, Westberg S, Sidike P, Nasrin M S, Hasan M, Van Essen B C, Awwal A A S, Asari V K 2019 Electronics 8 292
Google Scholar
[145] Barbastathis G, Ozcan A, Situ G 2019 Optica 6 921
Google Scholar
[146] He K, Zhang X, Ren S, Sun J 2015 IEEE International Conference on Computer Vision (ICCV) Santiago Chile, December 7–13, 2015 p1026
[147] Lecun Y, Bottou L, Bengio Y, Haffner P 1998 Proc. IEEE 86 2278
Google Scholar
[148] Lipton Z C, Berkowitz J, Elkan C 2015 arXiv: 1506.00019 [cs. LG]
[149] 王飞, 王昊, 卞耀明, 司徒国海 2020 光学学报 40 0111002
Google Scholar
Wang F, Wang H, Bian Y M, Situ G H 2020 Acta Opt. Sin. 40 0111002
Google Scholar
[150] Ronneberger O, Fischer P, Brox T 2015 Medical Image Computing and Computer-Assisted Intervention–MICCAI Munich, Germany, October 5–9, 2015 p234
[151] Khan S S, Adarsh V, Boominathan V, Tan J, Veeraraghavan A, Mitra K 2019 IEEE/CVF International Conference on Computer Vision (ICCV) Seoul, Korea (South), October 27–November 2, 2019 p7859
[152] Wu J, Cao L, Barbastathis G 2021 Opt. Lett. 46 130
Google Scholar
[153] Haris M, Shakhnarovich G, Ukita N 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Salt Lake City, UT, USA, June 18–23, 2018 p1664
[154] Zhou H, Feng H J, Hu Z X, Xu Z H, Li Q, Chen Y T 2020 Opt. Express 28 30248
Google Scholar
[155] 李江勇, 吴晓琴, 刘飞, 魏雅喆, 邵晓鹏 2021 光学学报 41 2422004
Google Scholar
Li J Y, Wu X Q, Liu F, Wei Y Z, Shao X P 2021 Acta Opt. Sin. 41 2422004
Google Scholar
[156] Sitzmann V, Diamond S, Peng Y F, Dun X, Boyd S, Heidrich W, Heide F, Wetzstein G 2018 ACM Trans. Graph. 37 114
[157] Liu X, Li L, Liu X, Hao X, Peng Y 2022 Opt. Express 30 36973
Google Scholar
[158] Stork D G, Robinson M D 2008 Appl. Opt. 47 B64
Google Scholar
[159] Robinson M D, Stork D 2008 Optical Systems Design Glasgow, Scotland, United Kingdom, September 27, 2008 p710011
[160] Chen M K, Liu X, Wu Y, Zhang J, Yuan J, Zhang Z, Tsai D P 2022 Adv. Mater. e2107465
[161] Banerji S, Meem M, Majumder A, Sensale-Rodriguez B, Menon R 2020 Optica 7 214
Google Scholar
[162] Fan Q, Xu W, Hu X, Zhu W, Yue T, Zhang C, Yan F, Chen L, Lezec H J, Lu Y, Agrawal A, Xu T 2022 Nat. Commun. 13 2130
Google Scholar
[163] Hu Z Y, Zhang Y L, Pan C, Dou J Y, Li Z Z, Tian Z N, Mao J W, Chen Q D, Sun H B 2022 Nat. Commun. 13 5634
Google Scholar
[164] Toulouse A, Drozella J, Motzfeld P, Fahrbach N, Aslani V, Thiele S, Giessen H, Herkommer A M 2022 Opt. Express 30 707
Google Scholar
[165] Baek S H, Gutierrez D, Kim M H 2016 ACM Trans. Graph. 35 194
[166] Carvalho M, Le Saux B, Trouvé-Peloux P, Almansa A, Champagnat F 2018 Computer Vision–ECCV 2018 Workshops Munich, Germany, September 8–14, 2018 p307
[167] Tian F, Yang W 2022 Opt. Express 30 34479
Google Scholar
[168] Holsteen A L, Lin D, Kauvar I, Wetzstein G, Brongersma M L 2019 Nano Lett. 19 2267
Google Scholar
[169] Park M K, Park C S, Hwang Y S, Kim E S, Choi D Y, Lee S S 2020 Adv. Opt. Mater. 8 2000820
Google Scholar
[170] Harris J L 1964 J. Opt. Soc. Am. 54 931
Google Scholar
[171] Tsai R, Huang T S 1984 Adv. Comput. Vis. Image Process. 1 317
[172] Chen X, Nakamura T, Pan X X, Tajima K, Yamaguchi K, Shimano T, Yamaguchi M 2021 IEEE International Conference on Image Processing (ICIP) Anchorage, Alaska, USA, September 19–22, 2021 p2808
[173] 张佳琳, 陈钱, 张翔宇, 孙佳嵩, 左超 2019 红外与激光工程 48 603009
Google Scholar
Zhang J L, Chen Q, Zhang X Y, Sun J S, Zuo C 2019 Infrared Laser Eng. 48 603009
Google Scholar
[174] Venkataraman K, Lelescu D, Duparre J, McMahon A, Molina G, Chatterjee P, Mullis R, Nayar S 2013 ACM Trans. Graph. 32 166
[175] Zang Z, Wang H, Han Y, Li H, FU H, Luo Y 2021 arXiv: 2106.07872 [physics. optics]
[176] Nakamura T, Kagawa K, Torashima S, Yamaguchi M 2019 Sensors 19 1329
Google Scholar
[177] Colburn S, Majumdar A 2020 ACS Photonics 7 1529
Google Scholar
[178] Tech D https://www.163.com/dy/article/FVTTUO5305119734.html [2022-12-11]
-
图 7 照明调制 (a)片上光流体显微成像示意图和装置顶视图[57]; (b)基于多角度照明的合成孔径无透镜显微成像装置[60]
Fig. 7. Illumination modulated lensless systems: (a) Schematic diagram of the on-chip optofluidic microscopy and top view of the device[57]; (b) synthetic aperture lensless microscopic imaging device based on multi angle illumination[60].
图 8 掩膜调制成像相机的发展历程 2013年Rambus实验室提出相位非对称旋转光栅[77]; 2015年BAE Systems 公司提出可分离Doubly-Toeplitz掩膜[69], Rice大学提出FlatCam[70]; 2017年UC Berkeley提出DiffuserCam[78], 日立公司提出基于菲涅耳孔径的振幅掩膜[73]; 2020年清华大学提出菲涅耳孔径编码[74], UC Berkeley提出用于光谱成像的散射介质相机[79], Rice大学提出基于相位掩膜的PhlatCam[82]; 2021年KAIST提出用于光谱深度成像的DOE[85]; 2022年清华大学提出无透镜复眼微系统[75]
Fig. 8. Development of mask-modulated lensless camera. Rambus lab proposed the phase anti-symmetric spiral gratings[77] in 2013; BAE Systems proposed separable Doubly-Toeplitz masks[69], and Rice University proposed FlatCam[70] in 2015; UC Berkeley proposed DiffuserCam[78] and Hitachi proposed amplitude mask based on Fresnel zone aperture[73] in 2017; Tsinghua University proposed the Fresnel zone aperture[74], UC Berkeley proposed Spectral DiffuserCam[79], and Rice University proposed phase mask based PhlatCam[82] in 2020; KAIST proposed DOE[85] for Hyperspectral-Depth Imaging in 2021; Tsinghua University proposed lensless compound microsystem[75] in 2022.
图 9 (a) 基于共振相位的超构表面; (b) 基于传播相位的介质脊波导; (c) 庞加莱球与基于几何相位的超构表面
Fig. 9. (a) Plasmonic metasurface based on resonance phase; (b) dielectric ridge waveguide based on propagation phase; (c) schematic of the geometric phase with Poincare sphere.
图 10 (a) 惠更斯超构表面以及电偶极子和磁偶极子的电磁场分布[91]; (b) 硅超构表面示意图以及不同周期超构表面的透射强度随硅柱直径和波长的变化[92]; (c) 介质脊波导结构图以及xz面电场分布[93]; (d) 超构透镜结构单元的侧视图和俯视图以及超构表面的模拟相位图[94]; (e) 超构表面单元与几何相位示意图[96]; (f) 基于耦合纳米棒的集成谐振单元的相位分布[97]
Fig. 10. (a) The Huygens’ metasurface as well as the electromagnetic field distribution of electric and magnetic dipoles[91]; (b) schematic of silicon metasurface and the transmission intensity of metasurface depends on the diameter and wavelength of silicon cylinder[92]; (c) schematic diagram of dielectric ridge waveguide and electric field distribution in xz-plane[93]; (d) side-view and top-view of the metasurface building block and simulated phase map for the metasurface[94]; (e) schematic for the metasurface building block and the geometric phase[96]; (f) phase profile of integrated-resonant unit elements based on coupled nano-rods[97].
图 11 超构透镜相机 (a) 薄饼超构透镜相机[100]; (b) 盐粒大小的超构透镜[110]; (c) 超构透镜热成像相机[102]; (d) 近红外超构透镜相机[104]; (e) 长波红外超构透镜相机[107]; (f) 超构透镜阵列集成广角相机[108]
Fig. 11. Metalens cameras: (a) Pancake metalens camera[100]; (b) metalens of salt grain size[110]; (c) metalens thermal imaging camera[102]; (d) near infrared metalens camera[104]; (e) long-wave infrared metalens camera[107]; (f) metalens array integrated wide-angle camera[108]
图 13 编码成像系统分类 (a) 一对一映射编码已知成像系统; (b) 一对多映射编码已知成像系统; (c) 一对多映射编码未知成像系统
Fig. 13. Classification of coding imaging system: (a) One-to-one map encoding with known imaging systems; (b) one-to-many map encoding with known imaging systems; (c) one-to-many map encoding with unknown imaging systems.
图 16 简单光学成像技术分类. 按照顺时针排列依次为: 深度成像, 例如PhaseCam3D[36], 超构透镜阵列深度传感系统[160]; 高分辨与超分辨成像, 例如端到端优化得到的DOE实现超分辨率成像[156], FlatScope原型样机拍照并计算重建图像[71]; 大景深成像, 例如多级衍射透镜的极深焦距成像[161], 由自旋复用超构透镜阵列实现的光场成像系统[162]; 大视场成像, 例如片上集成μ-CE相机[163], 片上180°×360°圆顶成像系统[164], 超构透镜阵列集成广角相机[108]
Fig. 16. Categories of simple optical imaging techniques. In clockwise order, they are: Depth imaging, e.g., PhaseCam3D[36], the achromatic meta-lens array depth-sensing system[160]; high resolution and super-resolution imaging, e.g., DOE designed by end-to-end optimization for super-resolution[156], imaging by the FlatScope prototype and computational reconstruction of the image[71]; large depth of field imaging, e.g., the multi-level diffractive lens that exhibits extreme-depth-of-focus imaging[161], light-field imaging system enabled by the spin-multiplexed metalens array[162]; wide field-of-view imaging, e.g., the on-chip integrated μ-CE camera[163], the on-chip 180°×360° imaging system[164], metalens array integrated wide-angle camera[108].
表 1 简单透镜成像系统及其实现方法
Table 1. Simple lens imaging system and its implementation.
序号 成像元件 方法 作者 1 单透镜 估计单透镜PSF函数, 后利用非盲去卷积算法复原图像 Schuler等[30] 2 单透镜 估计单透镜PSF函数, 再基于交叉通道先验执行非盲去卷积算法复原图像 Heide等[31] 3 单透镜 使用快速可微光线追迹模型和基于Res-Unet的恢复网络实现单镜头端到端设计和高质量成像 Li等[34] 4 折衍混合透镜 由可微分光学层的深度相关PSF对全聚焦图像进行编码, 再利用基于U-Net的深度网络对编码图像进行深度图重构 Wu等[36] 5 折衍混合透镜 设计一款菲涅耳透镜, 通过混合PSF在整个视场上产生空间位移不变的点扩散函数, 建立基于变体U-Net、生成对抗网络和知觉损失的深度学习网络实现高质量图像重建 Peng等[38] 6 透镜组 利用基于噪声图像对的正态Sinh-Arcsinh模型的单镜头相机PSF估计方法, 通过非盲去卷积算法获得高质量图像 Zhan等[41] 7 透镜组 利用一个基于可微分光线追迹渲染引擎的端到端复杂透镜的设计框架对特定成像任务联合优化镜头模块和图像重建网络, 重建网络采用U-Net架构 Sun等[42] 8 透镜组 对简单光学模块引入加权斑块退化模型, 建立DMPH-SE网络实现高质量图像重建 Ji等[44] 
下载: 导出CSV
表 2 衍射光学元件成像系统
Table 2. Diffractive optical elements imaging system.
序号 工作波长/nm 特点 作者 1 410—690 使用优化方法重新排列PSF的空间和光谱分布, 在硬件上减小色差, 使用交叉尺度先验去卷积重建图像 Peng等[80] 2 400—700 将DOE结构高度编码并使用粒子群算法进行优化, 各 波长模糊核趋于一致, 从而降低去卷积复原的难度 Zhao等[81] 3 Visible
(designed at 532)设计具有轮廓线型PSF的相位掩模, 并使用全变差正则化先验去卷积复原图像, 实现三维成像 Boominathan等[82] 4 420—720 联合优化DOE的高度和图像处理模块的参数, 使用维纳滤波复原图像 Dun等[83] 5 429—699 使用同心环分解的旋转对称衍射消色差设计, 并使用Res-Unet复原图像, 具有高保真成像性能 Dun等[84] 6 420—680 搭建可微分模拟器和神经网络重建方法进行联合优化, 能够实现高光谱深度成像 Baek等[85] 7 Visible
(designed at 550)使用多个DOE堆叠实现变焦, 使用交叉通道先验去卷积复原图像 Heide等[86] 8 875—1675 使用多级衍射透镜实现短波红外成像, 使用维纳滤波去卷积复原图像 Banerji等[87]
下载: 导出CSV
表 3 超构透镜相机
Table 3. Metalens cameras.
序号 工作波长/μm 特点 作者 1 0.98 采用单片直径为320 μm的a-Si/SiO2超构透镜, 焦距为800 μm, NA为0.42 Chen等[100] 2 0.4—0.7 采用单片直径为0.5 mm的Si3N4/SiO2超构透镜, 焦距为1 mm, FOV为40° Tseng等[101] 3 9.3—10.6 采用单片直径为12 mm的Si/蓝宝石超构透镜, 焦距为4.48 mm, FOV为178° Zhang等[102] 4 9—12 采用2×3个直径为1.7234 mm的全Si超构透镜, 焦距为1 cm, 将平均串扰降低3倍以上 Zhang等[103] 5 1.55 采用单片直径为2 cm的a-Si/SiO2超构透镜, 焦距为50 mm, NA为0.2 She等[104] 6 0.42—0.65 采用双筒直径为2.6 mm的GaN超构透镜, 焦距为10 mm, 深度测量精度可达50 μm Liu等[105] 7 0.8 采用多个直径为2 mm的a-Si/SiO2超构透镜, 焦距为30 mm, 利用合成孔径实现了与大孔径常规透镜相当的成像分辨率 Zhao等[106] 8 10.6 采用2×2个直径为5 cm的全Si超构透镜阵列, 焦距34 mm, NA为0.592 Hou等[107] 9 0.47 采用1×17个直径为0.3 mm的Si3N4/SiO2超构透镜阵列, 焦距为450 μm, FOV>120° Chen等[108] 10 0.63 采用6×6个直径为0.2 mm的a-Si/Si超构透镜阵列, 焦距为250 μm, NA为0.37 Xu等[109]
下载: 导出CSV
-
[1] 戴琼海, 索津莉, 季向阳, 曹汛 2016 计算摄像学: 全光视觉信息的计算采集 (北京: 清华大学出版社) 第3—5页
Dai Q H, Suo J L, Ji X Y, Cao X 2016 Computational Photography Computational Capture of Plenoptic Visal Information (Beijing: Tsinghua University Press) pp3–5 (in Chinese)
[2] 薛艳杰, 薛随建, 朱明, 崔辰州 2014 中国科学院院刊 29 368
Xue Y J, Xue S J, Zhu M, Cui C Z 2014 Bull. Chin. Acad. Sci. 29 368
[3] Adkins J https://www.nasa.gov/mission_pages/webb/main/index.html [2023-2-19]
[4] 郭红锋 2022 军事文摘 516 48
Guo H F 2022 Military Digest 516 48
[5] 李焱, 龚旗煌 2015 物理与工程 25 31
Li Y, Gong Q H 2015 Phys. Eng. 25 31
[6] 毛峥乐, 王琛, 程亚 2008 中国激光 35 1283
Google Scholar
Mao Z L, Wang C, Cheng Y 2008 Chin. J. Lasers 35 1283
Google Scholar
[7] Kozawa Y, Matsunaga D, Sato S 2018 Optica 5 86
Google Scholar
[8] 郭乾统, 李博 2021 集成电路应用 9 1
Guo Q T, Li B 2021 Appl. IC 9 1
[9] 杨朝兴 2016 博士学位论文 (上海: 中国科学院上海光学精密机械研究所)
Yang Z X 2016 Ph. D. Dissertation (Shanghai: Shanghai Institute of Optics and Fine Mechanics, the Chinese Academy of Sciences) (in Chinese)
[10] 边丽蘅, 戴琼海 2022 计算成像与感知 (北京: 人民邮电出版社) 第3—5页
Bian L H, Dai Q H 2022 Computational Imaging and Sensing (Beijing: Post & Telecom Press) pp3–5 (in Chinese)
[11] 左超, 陈钱 2022 红外与激光工程 51 20220110
Google Scholar
Zuo C, Chen Q 2022 Infrared Laser Eng. 51 20220110
Google Scholar
[12] 杨彦杰 2017 红外 38 8
Yang Y J 2017 Infrared 38 8
[13] Shi F https://www.163.com/dy/article/GNI2FICD0511PT5V.html [2022-12-5]
[14] Wright E https://svs.gsfc.nasa.gov/4720 [2022-12-5]
[15] Doshi S https://seas.harvard.edu/news/2021/03/federico-capasso-help-develop-super-camera [2022-12-5]
[16] Wu J, Guo Y, Deng C, Zhang A, Qiao H, Lu Z, Xie J, Fang L, Dai Q H 2022 Nature 612 62
Google Scholar
[17] Authier A 2003 Dynamical Theory of X-Ray Diffraction (London: Oxford University Press) pp479-480
[18] 陈宜方 2022 光学学报 42 1134005
Google Scholar
Chen Y F 2022 Acta Opt. Sin. 42 1134005
Google Scholar
[19] Chao W, Kim J, Rekawa S, Fischer P, Anderson E H 2009 Opt. Express 17 17669
Google Scholar
[20] Mohacsi I, Vartiainen I, Rosner B, Guizar-Sicairos M, Guzenko V A, McNulty I, Winarski R, Holt M V, David C 2017 Sci. Rep. 7 43624
Google Scholar
[21] 孙世峰 2020 物理学报 69 198701
Google Scholar
Sun S F 2020 Acta Phys. Sin. 69 198701
Google Scholar
[22] Dicke R 1968 Astrophys. J. 153 L101
Google Scholar
[23] Ables J 1968 Publ. Astron. Soc. Pac. 1 172
Google Scholar
[24] Haboub A, MacDowell A A, Marchesini S, Parkinson D Y 2014 Rev. Sci. Instrum. 85 063704
Google Scholar
[25] Kulow A, Buzanich A G, Reinholz U, Streli C, Radtke M 2020 J. Anal. At. Spectrom. 35 347
Google Scholar
[26] Glovinski C https://www.metalenz.com/press-release-metalenz-raises-30-million-series-b-led-by-neotribe-ventures-to-address-fast-growing-demand-for-its-breakthrough-metasurface-optics/ [2022-12-5]
[27] Yang X https://36kr.com/p/1673109498994694?channel=wechat [2022-12-6]
[28] Schneider J https://petapixel.com/2021/07/12/samsung-researching-flat-metalens-tech-for-smartphone-integration/ [2022-12-5]
[29] https://www.nsfc.gov.cn/publish/portal0/tab1392/info87786.htm [2022-12-8]
[30] Schuler C J, Hirsch M, Harmeling S, Schölkopf B 2011 International Conference on Computer Vision Barcelona, Spain, November 6–13, 2011 p659
[31] Heide F, Rouf M, Hullin M B, Labitzke B, Heidrich W, Kolb A 2013 ACM Trans. Graph. 32 149
[32] Bian Y X, Jiang Y N, Huang Y R, Yang X F, Deng W J, Shen H, Shen R B, Kuang C F 2021 Opt. Laser Technol. 139 106900
Google Scholar
[33] Liu Y, Zhang C, Kou T, Li Y, Shen J 2021 Opt. Express 29 28530
Google Scholar
[34] Li Z, Hou Q, Wang Z, Tan F, Liu J, Zhang W 2021 Opt. Lett. 46 5453
Google Scholar
[35] Peng Y, Fu Q, Amata H, Su S, Heide F, Heidrich W 2015 Opt. Express 23 31393
Google Scholar
[36] Wu Y, Boominathan V, Chen H, Sankaranarayanan A, Veeraraghavan A 2019 IEEE International Conference on Computational Photography (ICCP) Tokyo, Japan, May 15–17, 2019 p1
[37] Chang J, Wetzstein G 2019 IEEE/CVF International Conference on Computer Vision (ICCV) Seoul, Korea (South), October 27–November 2, 2019 p10192
[38] Peng Y F, Sun Q L, Dun X, Wetzstein G, Heidrich W, Heide F 2019 ACM Trans. Graph. 38 1
[39] Qi B, Chen W, Dun X, Hao X, Wang R, Liu X, Li H, Peng Y 2022 Appl. Opt. 61 1097
Google Scholar
[40] 郑云达, 黄玮, 徐明飞, 潘云, 贾树强, 张晓菲, 卢勇男 2019 中国光学 12 1090
Google Scholar
Zheng Y D, Huang W, Xu M F, Pan Y, Jia S Q, Zhang X F, Lu Y N 2019 Chin. Opt. 12 1090
Google Scholar
[41] Zhan D Z, Li W L, Yin X Q, Niu C Y, Liu J 2021 IEEE Access 9 49338
Google Scholar
[42] Sun Q, Wang C, Fu Q, Dun X, Heidrich W 2021 ACM Trans. Graph. 40 1
[43] Tseng E, Mosleh A, Mannan F, St-Arnaud K, Sharma A, Peng Y F, Braun A, Nowrouzezahrai D, Lalonde J F, Heide F 2021 ACM Trans. Graph. 40 18
[44] Ji J R, Xie H B, Yang L 2023 Opt. Commun. 526 128918
Google Scholar
[45] 程颖 2013 博士学位论文 (天津: 天津大学)
Cheng Y 2013 Ph. D. Dissertation (Tianjin: Tianjin University) (in Chinese)
[46] Beier M, Hartung J, Peschel T, Damm C, Gebhardt A, Scheiding S, Stumpf D, Zeitner U D, Risse S, Eberhardt R, Tunnermann A 2015 Appl. Opt. 54 3530
Google Scholar
[47] 陈炳旭, 廖志远, 操超, 白瑜, 牟达 2020 红外与激光工程 49 20200005
Google Scholar
Chen B X, Liao Z Y, Cao C, Bai Y, Mu D 2020 Infrared Laser Eng. 49 20200005
Google Scholar
[48] Yu J, Wang Y F, Qiu R S, Wang Z S 2022 Infrared Phys. Technol. 123 104207
Google Scholar
[49] Meng Q, Wang H, Liang W, Yan Z, Wang B 2019 Appl. Opt. 58 609
Google Scholar
[50] Ni J, Yang T, Cheng D, Wang Y 2021 Appl. Opt. 60 4491
Google Scholar
[51] Zhang B, Jin G, Zhu J 2021 Light Sci. Appl. 10 65
Google Scholar
[52] 杨通, 段璎哲, 程德文, 王涌天 2021 光学学报 41 0108001
Google Scholar
Yang T, Duan Y Z, Cheng D W, Wang Y T 2021 Acta Opt. Sin. 41 0108001
Google Scholar
[53] 吴佳琛 2022 博士学位论文 (北京: 清华大学)
Wu J C 2022 Ph. D. Dissertation (Beijing: Tsinghua University) (in Chinese)
[54] Lange D, Storment C W, Conley C A, Kovacs G T A 2005 Sens. Actuators B Chem. 107 904
Google Scholar
[55] Ozcan A, McLeod E 2016 Annu. Rev. Biomed. Eng. 18 77
Google Scholar
[56] Ozcan A, Demirci U 2008 Lab Chip 8 98
Google Scholar
[57] Cui X, Lee L M, Heng X, Zhong W, Sternberg P W, Psaltis D, Yang C 2008 Proc. Natl. Acad. Sci. U. S. A. 105 10670
Google Scholar
[58] Zheng G, Lee S A, Yang S, Yang C 2010 Lab Chip 10 3125
Google Scholar
[59] Gabor D 1948 Nature 161 777
Google Scholar
[60] Luo W, Greenbaum A, Zhang Y B, Ozcan A 2015 Light Sci. Appl. 4 e261
Google Scholar
[61] Kirmani A, Jeelani H, Montazerhodjat V, Goyal V K 2012 IEEE Signal. Process. Lett. 19 31
Google Scholar
[62] Wu D, Wetzstein G, Barsi C, Willwacher T, Dai Q H, Raskar R 2014 Int. J. Comput. Vis. 110 128
Google Scholar
[63] Satat G, Tancik M, Raskar R 2017 IEEE Trans. Comput. Imaging 3 398
Google Scholar
[64] Rego J D, Chen H, Li S, Gu J, Jayasuriya S 2022 Opt. Express 30 27214
Google Scholar
[65] Barrett H H, Horrigan F A 1973 Appl. Opt. 12 2686
Google Scholar
[66] Anand V, Katkus T, Linklater D P, Ivanova E P, Juodkazis S 2020 J. Imaging 6 99
[67] Fenimore E E, Cannon T M 1978 Appl. Opt. 17 337
Google Scholar
[68] Gottesman S R, Fenimore E E 1989 Appl. Opt. 28 4344
Google Scholar
[69] DeWeert M J, Farm B P 2015 Opt. Eng. 54 023102
Google Scholar
[70] Asif M S, Ayremlou A, Sankaranarayanan A, Veeraraghavan A, Baraniuk R G 2017 IEEE Trans. Comput. Imaging 3 384
Google Scholar
[71] Adams J K, Boominathan V, Avants B W, Vercosa D G, Ye F, Baraniuk R G, Robinson J T, Veeraraghavan A 2017 Sci. Adv. 3 e1701548
Google Scholar
[72] Shimano T, Nakamura Y, Tajima K, Sao M, Hoshizawa T 2018 Appl. Opt. 57 2841
Google Scholar
[73] Tajima K, Shimano T, Nakamura Y, Sao M, Hoshizawa T 2017 IEEE International Conference on Computational Photography (ICCP) Stanford Univ, Stanford, CA, May. 12-14, 2017 p1
[74] Wu J, Zhang H, Zhang W, Jin G, Cao L, Barbastathis G 2020 Light Sci. Appl. 9 53
[75] Zhang L, Zhan H, Liu X, Xing F, You Z 2022 Microsyst. Nanoeng. 8 83
Google Scholar
[76] Stork D G, Gill P R 2013 The Seventh International Conference on Sensor Technologies and Applications Barcelona, Spain, Auguest 25–31, 2013 p186
[77] Stork D G, Gill P R 2014 Int. J. Adv. Syst. Meas. 7 201
[78] Antipa N, Kuo G, Heckel R, Mildenhall B, Bostan E, Ng R, Waller L 2018 Optica 5 1
Google Scholar
[79] Monakhova K, Yanny K, Aggarwal N, Waller L 2020 Optica 7 1298
Google Scholar
[80] Peng Y F, Fu Q, Heide F, Heidrich W 2016 ACM Trans. Graph. 35 31
[81] 赵玺竣, 范斌, 何一苇, 张豪, 郑书培, 钟烁, 雷嘉明, 杨伟, 杨虎 2022 光学学报 42 1305001
Google Scholar
Zhao X J, Fan B, He Y W, Zhang H, Zheng S P, Zhong S, Lei J M, Yang W, Yang H 2022 Acta Opt. Sin. 42 1305001
Google Scholar
[82] Boominathan V, Adams J K, Robinson J T, Veeraraghavan A 2020 IEEE Trans. Pattern Anal. Mach. Intell. 42 1618
Google Scholar
[83] Dun X, Ikoma H, Wetzstein G, Wang Z S, Cheng X B, Peng Y F 2020 Optica 7 913
Google Scholar
[84] Dun X, Wang Z S, Peng Y F 2019 SPIE/COS Photonics Asia Hangzhou, China, October 20–23, 2020 p111870 I
[85] Baek S-H, Ikoma H, Jeon D S, Li Y Q, Heidrich W, Wetzstein G, Kim M H 2021 IEEE/CVF International Conference on Computer Vision (ICCV) Montreal, QC, Canada, October 10–17, 2021 p2631
[86] Heide F, Fu Q, Peng Y, Heidrich W 2016 Sci. Rep. 6 33543
Google Scholar
[87] Banerji S, Meem M, Majumder A, Dvonch C, Sensale-Rodriguez B, Menon R 2019 Osa Continuum 2 2968
Google Scholar
[88] Chen W T, Zhu A D Y, Capasso F 2020 Nat. Rev. Mater. 5 604
Google Scholar
[89] Zou X J, Zheng G G, Yuan Q, Zang W B, Chen R, Li T Y, Li L, Wang S M, Wang Z L, Zhu S N 2020 Photonix 1 2
Google Scholar
[90] Pan M, Fu Y, Zheng M, Chen H, Zang Y, Duan H, Li Q, Qiu M, Hu Y 2022 Light Sci. Appl. 11 195
Google Scholar
[91] Decker M, Staude I, Falkner M, Dominguez J, Neshev D N, Brener I, Pertsch T, Kivshar Y S 2015 Adv. Opt. Mater. 3 813
Google Scholar
[92] Li J, Wu T, Xu W, Liu Y, Liu C, Wang Y, Yu Z, Zhu D, Yu L, Ye H 2019 Opt. Express 27 23186
Google Scholar
[93] Khorasaninejad M, Capasso F 2015 Nano Lett. 15 6709
Google Scholar
[94] Khorasaninejad M, Zhu A Y, Roques-Carmes C, Chen W T, Oh J, Mishra I, Devlin R C, Capasso F 2016 Nano Lett. 16 7229
Google Scholar
[95] 张飞, 蔡吉祥, 蒲明博, 罗先刚 2021 物理 50 300
Google Scholar
Zhang F, Cai J X, Pu M B, Luo X G 2021 Physics 50 300
Google Scholar
[96] Khorasaninejad M, Chen W T, Devlin R C, Oh J, Zhu A Y, Capasso F 2016 Science 352 1190
Google Scholar
[97] Wang S, Wu P C, Su V C, Lai Y C, Hung Chu C, Chen J W, Lu S H, Chen J, Xu B, Kuan C H, Li T, Zhu S, Tsai D P 2017 Nat. Commun. 8 187
Google Scholar
[98] Berry M V 1984 Proc. R. Soc. Lond. A 392 45
[99] Pancharatnam S 2013 Resonance 18 387
Google Scholar
[100] Chen C, Ye X, Sun J, Chen Y, Huang C, Xiao X, Song W, Zhu S, Li T 2022 Optica 9 1314
Google Scholar
[101] Tseng E, Colburn S, Whitehead J, Huang L, Baek S H, Majumdar A, Heide F 2021 Nat. Commun. 12 6493
Google Scholar
[102] Zhang F, Pu M, Li X, Ma X, Guo Y, Gao P, Yu H, Gu M, Luo X 2021 Adv. Mater. 33 e2008157
Google Scholar
[103] Zhang Y X, Pu M B, Jin J J, Lu X J, Guo Y H, Cai J X, Zhang F, Ha Y L, He Q, Xu M F, Li X, Ma X L, Luo X G 2022 Opto-Electron. Adv. 5 220058
Google Scholar
[104] She A, Zhang S, Shian S, Clarke D R, Capasso F 2018 Opt. Express 26 1573
Google Scholar
[105] Liu X, Chen M K, Chu C H, Zhang J, Leng B, Yamaguchi T, Tanaka T, Tsai D P 2023 ACS Photonics 2 c01667
[106] Zhao F, Shen Z C, Wang D C, Xu B J, Chen X N, Yang Y M 2021 Photonics Res. 9 2388
Google Scholar
[107] Hou M M, Chen Y, Yi F 2022 Conference on Lasers and Electro-Optics (CLEO) San Jose, CA, USA, May 15-20, 2022 p1
[108] Chen J, Ye X, Gao S L, Chen Y X, Zhao Y W, Huang C Y, Qiu K, Zhu S N, Li T 2022 Optica 9 431
Google Scholar
[109] Xu B B, Li H M, Gao S L, Hua X, Yang C, Chen C, Yan F, Zhu S N, Li T 2020 Adv. Photonics 2 066004
[110] Tseng E, Colburn S, Whitehead J, Huang L, Baek S H, Majumdar A, Heide F https://light.princeton.edu/publication/neural-nano-optics/ [2022-12-12]
[111] Colburn S, Zhan A, Majumdar A 2018 Sci. Adv. 4 eaar2114
Google Scholar
[112] Lei Y S, Guo Y H, Pu M B, He Q, Gao P, Li X, Ma X L, Luo X G 2022 Phys. Status. Solidi-Rapid Res. Lett. 16 2100469
Google Scholar
[113] Anand V, Han M, Maksimovic J, Ng S H, Katkus T, Klein A, Bambery K, Tobin M J, Vongsvivut J, Juodkazis S 2022 Opto-Electron. Sci. 1 210006
Google Scholar
[114] 赵丽萍, 邬敏贤, 金国藩, 严瑛白 1998 光学学报 18 621
Google Scholar
Zhao L P, Wu M X, Jin G F, Yan Y B 1998 Acta Opt. Sin. 18 621
Google Scholar
[115] Boominathan V, Robinson J T, Waller L, Veeraraghavan A 2022 Optica 9 1
Google Scholar
[116] 李雄, 马晓亮, 罗先刚 2017 光电工程 44 255
Google Scholar
Li X, Ma X L, Luo X G 2017 Opto-Electron. Rev. 44 255
Google Scholar
[117] 许可, 王星儿, 范旭浩, 刘耘呈, 余轩, 高辉, 熊伟 2022 光电工程 49 220183
Google Scholar
Xu K, Wang X E, Fan X H, Liu Y C, Yu X, Gao H, Xiong W 2022 Opto-electron. Rev. 49 220183
Google Scholar
[118] 蔡利梅 2020MATLAB图像处理: 理论、算法与实例分析 (北京: 清华大学出版社) 第274—298页
Cai L M 2022 MATLAB Image Processing Theory Algorithm and Case Analysis (Beijing: Tsinghua University Press) pp274–298 (in Chinese)
[119] 张华 2020 博士学位论文 (北京: 清华大学)
Zhang H 2020 Ph. D. Dissertation (Beijing: Tsinghua University) (in Chinese)
[120] Farsiu S, Robinson M D, Elad M, Milanfar P 2004 IEEE Trans. Image. Process. 13 1327
Google Scholar
[121] Bredies K, Kunisch K, Pock T 2010 SIAM J. Imaging Sci. 3 492
Google Scholar
[122] Daubechies I, Defrise M, De Mol C 2004 Commun. Pure Appl. Math. 57 1413
Google Scholar
[123] Bioucas-Dias J M, Figueiredo M A 2007 IEEE Trans. Image. Process. 16 2992
Google Scholar
[124] Beck A, Teboulle M 2009 SIAM J. Imaging Sci. 2 183
Google Scholar
[125] Boyd S, Parikh N, Chu E, Peleato B, Eckstein J 2011 Found. Trends Mach. Learn. 3 1
Google Scholar
[126] Wu J C, Cao L C 2022 Acta Photon. Sin. 51 0751412
Google Scholar
[127] Choi K, Horisaki R, Hahn J, Lim S, Marks D L, Schulz T J, Brady D J 2010 Appl. Opt. 49 H1
Google Scholar
[128] Cull C F, Wikner D A, Mait J N, Mattheiss M, Brady D J 2010 Appl. Opt. 49 E67
Google Scholar
[129] Hahn J, Lim S, Choi K, Horisaki R, Brady D J 2011 Opt. Express 19 7289
Google Scholar
[130] Hahn J, Lim S, Choi K, Horisaki R, Marks D L, Brady D J 2010 Biomedical Optics and 3-D Imaging Miami Florida, April 11–14, 2010 pJMA1
[131] Zhang H, Cao L C, Jin G F, Brady D 2020 Laser Optoelectron. Prog. 57 080001
[132] Ma C G, Cao X, Tong X, Dai Q H, Lin S 2014 Int. J. Comput. Vis. 110 141
Google Scholar
[133] Zuo C, Sun J, Zhang J, Hu Y, Chen Q 2015 Opt. Express 23 14314
Google Scholar
[134] Wang H, Lyu M, Situ G 2018 Opt. Express 26 22603
Google Scholar
[135] Wang K, Dou J, Kemao Q, Di J, Zhao J 2019 Opt. Lett. 44 4765
Google Scholar
[136] Ren Z B, Xu Z M, Lam E Y 2019 Adv. Photonics 1 016004
[137] Tahara T, Zhang Y P, Rosen J, Anand V, Cao L C, Wu J C, Koujin T, Matsuda A, Ishii A, Kozawa Y, Okamoto R, Oi R, Nobukawa T, Choi K, Imbe M, Poon T C 2022 Appl. Phys. B Lasers Opt. 128 193
Google Scholar
[138] Wu Y F, Wu J C, Jin S Z, Cao L C, Jin G F 2021 Opt. Commun. 493 126970
Google Scholar
[139] Bai C, Zhou M, Min J, Dang S, Yu X, Zhang P, Peng T, Yao B 2019 Opt. Lett. 44 5141
Google Scholar
[140] Wang F, Bian Y, Wang H, Lyu M, Pedrini G, Osten W, Barbastathis G, Situ G 2020 Light Sci. Appl. 9 77
Google Scholar
[141] Metzler C, Schniter P, Veeraraghavan A, Baraniuk R 2018 Proceedings of the 35th International Conference on Machine Learning Stockholmsmässan Stockholm, Sweden, July 10–15, 2018 p3501
[142] Li S, Deng M, Lee J, Sinha A, Barbastathis G 2018 Optica 5 803
Google Scholar
[143] Li Y Z, Xue Y J, Tian L 2018 Optica 5 1181
Google Scholar
[144] Alom M Z, Taha T M, Yakopcic C, Westberg S, Sidike P, Nasrin M S, Hasan M, Van Essen B C, Awwal A A S, Asari V K 2019 Electronics 8 292
Google Scholar
[145] Barbastathis G, Ozcan A, Situ G 2019 Optica 6 921
Google Scholar
[146] He K, Zhang X, Ren S, Sun J 2015 IEEE International Conference on Computer Vision (ICCV) Santiago Chile, December 7–13, 2015 p1026
[147] Lecun Y, Bottou L, Bengio Y, Haffner P 1998 Proc. IEEE 86 2278
Google Scholar
[148] Lipton Z C, Berkowitz J, Elkan C 2015 arXiv: 1506.00019 [cs. LG]
[149] 王飞, 王昊, 卞耀明, 司徒国海 2020 光学学报 40 0111002
Google Scholar
Wang F, Wang H, Bian Y M, Situ G H 2020 Acta Opt. Sin. 40 0111002
Google Scholar
[150] Ronneberger O, Fischer P, Brox T 2015 Medical Image Computing and Computer-Assisted Intervention–MICCAI Munich, Germany, October 5–9, 2015 p234
[151] Khan S S, Adarsh V, Boominathan V, Tan J, Veeraraghavan A, Mitra K 2019 IEEE/CVF International Conference on Computer Vision (ICCV) Seoul, Korea (South), October 27–November 2, 2019 p7859
[152] Wu J, Cao L, Barbastathis G 2021 Opt. Lett. 46 130
Google Scholar
[153] Haris M, Shakhnarovich G, Ukita N 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Salt Lake City, UT, USA, June 18–23, 2018 p1664
[154] Zhou H, Feng H J, Hu Z X, Xu Z H, Li Q, Chen Y T 2020 Opt. Express 28 30248
Google Scholar
[155] 李江勇, 吴晓琴, 刘飞, 魏雅喆, 邵晓鹏 2021 光学学报 41 2422004
Google Scholar
Li J Y, Wu X Q, Liu F, Wei Y Z, Shao X P 2021 Acta Opt. Sin. 41 2422004
Google Scholar
[156] Sitzmann V, Diamond S, Peng Y F, Dun X, Boyd S, Heidrich W, Heide F, Wetzstein G 2018 ACM Trans. Graph. 37 114
[157] Liu X, Li L, Liu X, Hao X, Peng Y 2022 Opt. Express 30 36973
Google Scholar
[158] Stork D G, Robinson M D 2008 Appl. Opt. 47 B64
Google Scholar
[159] Robinson M D, Stork D 2008 Optical Systems Design Glasgow, Scotland, United Kingdom, September 27, 2008 p710011
[160] Chen M K, Liu X, Wu Y, Zhang J, Yuan J, Zhang Z, Tsai D P 2022 Adv. Mater. e2107465
[161] Banerji S, Meem M, Majumder A, Sensale-Rodriguez B, Menon R 2020 Optica 7 214
Google Scholar
[162] Fan Q, Xu W, Hu X, Zhu W, Yue T, Zhang C, Yan F, Chen L, Lezec H J, Lu Y, Agrawal A, Xu T 2022 Nat. Commun. 13 2130
Google Scholar
[163] Hu Z Y, Zhang Y L, Pan C, Dou J Y, Li Z Z, Tian Z N, Mao J W, Chen Q D, Sun H B 2022 Nat. Commun. 13 5634
Google Scholar
[164] Toulouse A, Drozella J, Motzfeld P, Fahrbach N, Aslani V, Thiele S, Giessen H, Herkommer A M 2022 Opt. Express 30 707
Google Scholar
[165] Baek S H, Gutierrez D, Kim M H 2016 ACM Trans. Graph. 35 194
[166] Carvalho M, Le Saux B, Trouvé-Peloux P, Almansa A, Champagnat F 2018 Computer Vision–ECCV 2018 Workshops Munich, Germany, September 8–14, 2018 p307
[167] Tian F, Yang W 2022 Opt. Express 30 34479
Google Scholar
[168] Holsteen A L, Lin D, Kauvar I, Wetzstein G, Brongersma M L 2019 Nano Lett. 19 2267
Google Scholar
[169] Park M K, Park C S, Hwang Y S, Kim E S, Choi D Y, Lee S S 2020 Adv. Opt. Mater. 8 2000820
Google Scholar
[170] Harris J L 1964 J. Opt. Soc. Am. 54 931
Google Scholar
[171] Tsai R, Huang T S 1984 Adv. Comput. Vis. Image Process. 1 317
[172] Chen X, Nakamura T, Pan X X, Tajima K, Yamaguchi K, Shimano T, Yamaguchi M 2021 IEEE International Conference on Image Processing (ICIP) Anchorage, Alaska, USA, September 19–22, 2021 p2808
[173] 张佳琳, 陈钱, 张翔宇, 孙佳嵩, 左超 2019 红外与激光工程 48 603009
Google Scholar
Zhang J L, Chen Q, Zhang X Y, Sun J S, Zuo C 2019 Infrared Laser Eng. 48 603009
Google Scholar
[174] Venkataraman K, Lelescu D, Duparre J, McMahon A, Molina G, Chatterjee P, Mullis R, Nayar S 2013 ACM Trans. Graph. 32 166
[175] Zang Z, Wang H, Han Y, Li H, FU H, Luo Y 2021 arXiv: 2106.07872 [physics. optics]
[176] Nakamura T, Kagawa K, Torashima S, Yamaguchi M 2019 Sensors 19 1329
Google Scholar
[177] Colburn S, Majumdar A 2020 ACS Photonics 7 1529
Google Scholar
[178] Tech D https://www.163.com/dy/article/FVTTUO5305119734.html [2022-12-11]
计量
- 文章访问数: 2179
- PDF下载量: 156
- 被引次数: 0
