搜索

x

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

中继透镜分辨率在像素编码曝光成像中对图像重构质量的影响分析

贺芷椰 张彦东 唐春华 李军利 李四维 于斌

引用本文:
Citation:

中继透镜分辨率在像素编码曝光成像中对图像重构质量的影响分析

贺芷椰, 张彦东, 唐春华, 李军利, 李四维, 于斌

Analysis of influence of imaging resolution of relay lens on image reconstruction quality in pixel-wise coded exposure imaging technology

He Zhi-Ye, Zhang Yan-Dong, Tang Chun-Hua, Li Jun-Li, Li Si-Wei, Yu Bin
PDF
HTML
导出引用
  • 像素编码曝光成像技术是一种先进的高速成像技术, 其利用数字微镜器件(digital micromirror device, DMD)对相机每个像素的曝光进行编码, 将多帧图像信息融入到单帧编码图像中, 然后再利用解码算法进行图像重构, 将低帧频相机的图像采集速率提升数倍, 实现低帧频相机的高速成像. 在该技术中, DMD的像素与相机像素之间的精确匹配是实现编码曝光成像的前提, 因此, 相关研究人员主要关注于如何实现像素的精确匹配. 然而, 两者之间中继成像系统的分辨率作为编码曝光成像的另一重要影响因素, 却鲜有人研究和分析. 为此, 本文从理论上分析了中继成像系统的分辨率对解码图像重建效果的影响, 并结合模拟和实际成像实验对理论分析进行验证. 在此基础上, 搭建了像素编码曝光成像系统, 提出了一种基于条纹相位的成像系统点扩散函数估计方法, 并将Richard-Lucy反卷积算法引入到编码图像的重构过程中, 有效改善编码曝光成像的质量, 对于像素编码曝光成像技术的发展具有重要的意义.
    Pixel-wise coded exposure (PCE) imaging based on digital micromirror device (DMD) is an advanced high-speed imaging technology, which can realize the high-speed imaging by using a low-frame-rate camera. During exposure time, the multi-frame image information of a dynamic object can be integrated into one encoded image, and then the multi-frame sub-exposure images can be extracted by the post-processing algorithm. Therefore, the accurate pixel-to-pixel alignment between the DMD and the camera is the key step to realize PCE imaging, which has drawn much attention from researchers. So their studies mainly focused on how to achieve accurate pixel matching. However, the resolution of the relay imaging lens, as another important influence factor of PCE imaging, also has a significant influence on the imaging results, but few people have studied and analyzed it. To solve this problem, in this work, we theoretically analyze the influence of the resolution of the relay imaging system on the reconstructed decoded images, and verifies the theoretical analysis through simulation and imaging experiments. On this basis, a PCE imaging system is built, and a point spread function (PSF) estimation method of relay lens based on the fringe phase is proposed. Furthermore, a Richard-Lucy deconvolution algorithm is introduced into the reconstruction process of coded image to effectively improve the quality of PCE imaging, which is of great significance in developing the PCE imaging technology.
      通信作者: 李四维, zhcptlsw@163.com ; 于斌, yubin@szu.edu.cn
    • 基金项目: 国家自然科学基金 (批准号: 61975131, 62175166, 62022059)、深圳市基础研究项目(批准号: JCYJ20200109105411133)、广东省基础与应用基础研究基金(批准号: 2019A1515110412)、广东省普通高校特色创新项目(批准号: 2021KTSCX285, 2022KTSCX314)和珠海城市职业技术学院科研项目(批准号: KY2020Z01Z, KY2021Z01Z, KY2021Y04Z)资助的课题.
      Corresponding author: Li Si-Wei, zhcptlsw@163.com ; Yu Bin, yubin@szu.edu.cn
    • Funds: Project supported by the National Natural Science Foundation of China (Grant Nos. 61975131, 62175166, 62022059), the Basic Research Project of Shenzhen, China (Grant No. JCYJ20200109105411133), the Basic and Applied Basic Research Foundation of Guangdong Province, China (Grant No. 2019A1515110412), the (Key) Project of the Science and Technology Innovation in Colleges and Universities of Guangdong Province, China (Grant Nos. 2021KTSCX285, 2022KTSCX314), and the Zhuhai City Polytechnic Scientific Research Projects, China (Grant Nos. KY2020Z01Z, KY2021Z01Z, KY2021Y04Z).
    [1]

    Akiyama M, Yang Z B, Gnapowski S, Hamid S, Hosseini R, Akiyama H 2014 IEEE Trans. Plasma Sci. 42 3215Google Scholar

    [2]

    李明飞, 莫小范, 赵连洁, 霍娟, 杨然, 李凯, 张安宁 2016 物理学报 65 064201Google Scholar

    Li M F, Mo X F, Zhao L J, Huo J, Yang R, Li K, Zhang A N 2016 Acta Phys. Sin. 65 064201Google Scholar

    [3]

    Zhang J, Xiong T, Tran T, Chin S, Cummings R E 2016 Opt. Express 24 9013Google Scholar

    [4]

    Khan S R, Feldman M, Gunturk B K 2018 Signal Process. Image Commun. 60 107Google Scholar

    [5]

    冯维, 张福民, 王惟婧, 曲兴华 2017 物理学报 66 234201Google Scholar

    Feng W, Zhang F M, Wang W J, Qu X H 2017 Acta Phys. Sin. 66 234201Google Scholar

    [6]

    Qiao Y, Xu X P, Liu T, Pan Y 2015 Appl Opt. 54 60Google Scholar

    [7]

    Tang C Y, Chen Y T, Li Q, Feng H J, Xu Z H 2015 Optica 35 0410002

    [8]

    Bub G, Tecza M, Helmes M, Lee P, Kohl P 2009 Nat. Methods 7 209

    [9]

    Ri S, Fujigaki M, Morimoto Y 2009 Opt. Eng. 48 103605Google Scholar

    [10]

    Liu D Y, Gu J W, Hitomi Y, Gupta M, Mitsunaga T, Nayar S K 2013 IEEE Trans. Pattern Anal. Mach. Intell. (TPAMI) 36 248

    [11]

    Feng W, Zhang F M, Qu X H, Zheng S W 2016 Sensors 16 331

    [12]

    Peng X, Tian J D, Zhang P, Wei L B, Qiu W J, Li E B, Zhang D W 2005 Opt. Lett. 30 1965Google Scholar

    [13]

    Niu B, Qu X H, Guan X H, Zhang F M 2021 Opt. Express 29 27562Google Scholar

    [14]

    Gunturk B K, Feldman M 2013 Proc. SPIE 8660 86600PGoogle Scholar

    [15]

    Feng W, Zhang F M, Wang W J, Xing W, Qu X H 2017 Appl. Opt. 56 3831Google Scholar

    [16]

    Wang C M, Tu C 2014 Int. J. Signal Process. Image Process. Pattern Recognit. 7 217

    [17]

    Gao L, Liang J Y, Li C Y, Wang L H 2014 Nature 516 74Google Scholar

    [18]

    Adekunle A, Barakat N 2009 Opt. Express 17 1831Google Scholar

    [19]

    Liu Y, Wang Z F 2015 J. Visual Commun. Image Represent. 31 208Google Scholar

    [20]

    Gu B, Li W J, Wong J T, Zhu M Y, Wang M H 2012 J. Visual Commun. Image Represent. 23 604Google Scholar

    [21]

    Ri S, Fujigaki M, Matui T, Morimoto Y 2006 Appl. Opt. 45 6940Google Scholar

    [22]

    Ri S, Fujigaki M, Matui T, Morimoto Y 2006 Exp. Mech. 46 67Google Scholar

  • 图 1  (a) 像素编码曝光成像光路设计; (b) 实验装置; (c) DMD微反射镜与CCD像素对应关系

    Fig. 1.  (a) Optical configuration design of pixel-wise coded exposure; (b) experimental device; (c) mapping relationship between DMD micro-mirrors and the CCD pixels.

    图 2  (a) 单帧编码图像; (b) DMD与CCD之间的同步控制原理; (c) 不同时刻的重构图像信息

    Fig. 2.  (a) Single frame encoded image; (b) principle of synchronous control between DMD and CCD; (c) reconstructed image information at different times.

    图 3  (a) $ \sigma $ = 0.3 pixelsize时的成像效果; (b) $ \sigma $ = 0.6 pixelsize时的成像效果; (c) $ \sigma $ = 0.9 pixelsize时的成像效果

    Fig. 3.  (a) Imaging effect of image I when $ \sigma $ = 0.3 pixelsize; (b) imaging effect of image I when $ \sigma $ = 0.6 pixelsize; (c) imaging effect of image I when $ \sigma $ = 0.9 pixelsize.

    图 4  (a) 单帧条纹编码图像; (b) 数值模拟产生的PSF; (c) 重构的条纹图像信息; (d) 计算获得的相位图; (e) 图(d)中黄线虚线处的切面相位值

    Fig. 4.  (a) Single frame fringe encoded image; (b) numerical simulation of PSF; (c) reconstructed fringe image information; (d) calculated phase diagram; (e) section phase value at dotted line of yellow line in Figure (d).

    图 5  单帧编码图像

    Fig. 5.  Single frame encoded image.

    图 6  (a)—(c) 不同$ \sigma $值的编码图像; (e)—(g) 对编码图像直接提取得到的重构图像; (h)—(k)对编码图像反卷积处理后的重构图像

    Fig. 6.  (a)–(c) Coded images of different $ \sigma $; (e)–(g) the reconstructed image obtained by directly extracting the coded image; (h)–(k) the reconstructed image after deconvolution of the coded image.

    图 7  (a) 编码图像; (b) 重构的条纹图像信息; (c) 相位图; (d) 图(c)中黄线位置的切面相位值的线性拟合结果

    Fig. 7.  (a) Coded images; (b) reconstructed fringe image information; (c) phase diagram; (d) linear fitting results of phase values of the yellow line position in Figure (c).

    图 8  (a) 低分辨率条件下的编码图像及重构结果; (b) 编码图象(a)经反卷积处理及重构的结果; (c) 高分辨率条件下的编码图像及重构结果; (d) 编码图象(c)经反卷积处理及重构的结果

    Fig. 8.  (a) Coded images and reconstruction results at low resolution; (b) results of deconvolution and reconstruction of coded image (a); (c) coded images and reconstruction results at high resolution; (d) results of deconvolution and reconstruction of coded image (c).

  • [1]

    Akiyama M, Yang Z B, Gnapowski S, Hamid S, Hosseini R, Akiyama H 2014 IEEE Trans. Plasma Sci. 42 3215Google Scholar

    [2]

    李明飞, 莫小范, 赵连洁, 霍娟, 杨然, 李凯, 张安宁 2016 物理学报 65 064201Google Scholar

    Li M F, Mo X F, Zhao L J, Huo J, Yang R, Li K, Zhang A N 2016 Acta Phys. Sin. 65 064201Google Scholar

    [3]

    Zhang J, Xiong T, Tran T, Chin S, Cummings R E 2016 Opt. Express 24 9013Google Scholar

    [4]

    Khan S R, Feldman M, Gunturk B K 2018 Signal Process. Image Commun. 60 107Google Scholar

    [5]

    冯维, 张福民, 王惟婧, 曲兴华 2017 物理学报 66 234201Google Scholar

    Feng W, Zhang F M, Wang W J, Qu X H 2017 Acta Phys. Sin. 66 234201Google Scholar

    [6]

    Qiao Y, Xu X P, Liu T, Pan Y 2015 Appl Opt. 54 60Google Scholar

    [7]

    Tang C Y, Chen Y T, Li Q, Feng H J, Xu Z H 2015 Optica 35 0410002

    [8]

    Bub G, Tecza M, Helmes M, Lee P, Kohl P 2009 Nat. Methods 7 209

    [9]

    Ri S, Fujigaki M, Morimoto Y 2009 Opt. Eng. 48 103605Google Scholar

    [10]

    Liu D Y, Gu J W, Hitomi Y, Gupta M, Mitsunaga T, Nayar S K 2013 IEEE Trans. Pattern Anal. Mach. Intell. (TPAMI) 36 248

    [11]

    Feng W, Zhang F M, Qu X H, Zheng S W 2016 Sensors 16 331

    [12]

    Peng X, Tian J D, Zhang P, Wei L B, Qiu W J, Li E B, Zhang D W 2005 Opt. Lett. 30 1965Google Scholar

    [13]

    Niu B, Qu X H, Guan X H, Zhang F M 2021 Opt. Express 29 27562Google Scholar

    [14]

    Gunturk B K, Feldman M 2013 Proc. SPIE 8660 86600PGoogle Scholar

    [15]

    Feng W, Zhang F M, Wang W J, Xing W, Qu X H 2017 Appl. Opt. 56 3831Google Scholar

    [16]

    Wang C M, Tu C 2014 Int. J. Signal Process. Image Process. Pattern Recognit. 7 217

    [17]

    Gao L, Liang J Y, Li C Y, Wang L H 2014 Nature 516 74Google Scholar

    [18]

    Adekunle A, Barakat N 2009 Opt. Express 17 1831Google Scholar

    [19]

    Liu Y, Wang Z F 2015 J. Visual Commun. Image Represent. 31 208Google Scholar

    [20]

    Gu B, Li W J, Wong J T, Zhu M Y, Wang M H 2012 J. Visual Commun. Image Represent. 23 604Google Scholar

    [21]

    Ri S, Fujigaki M, Matui T, Morimoto Y 2006 Appl. Opt. 45 6940Google Scholar

    [22]

    Ri S, Fujigaki M, Matui T, Morimoto Y 2006 Exp. Mech. 46 67Google Scholar

计量
  • 文章访问数:  265
  • PDF下载量:  11
  • 被引次数: 0
出版历程
  • 收稿日期:  2022-08-07
  • 修回日期:  2022-10-06
  • 上网日期:  2022-10-27
  • 刊出日期:  2023-01-20

中继透镜分辨率在像素编码曝光成像中对图像重构质量的影响分析

  • 1. 深圳大学物理与光电工程学院, 深圳市光子学与生物光子学重点实验室, 光电子器件与系统教育部/广东省重点实验室, 深圳 518060
  • 2. 珠海城市职业技术学院, 珠海 519000
  • 3. 马来西亚敦胡先翁大学, 柔佛州巴株巴辖 83000
  • 通信作者: 李四维, zhcptlsw@163.com ; 于斌, yubin@szu.edu.cn
    基金项目: 国家自然科学基金 (批准号: 61975131, 62175166, 62022059)、深圳市基础研究项目(批准号: JCYJ20200109105411133)、广东省基础与应用基础研究基金(批准号: 2019A1515110412)、广东省普通高校特色创新项目(批准号: 2021KTSCX285, 2022KTSCX314)和珠海城市职业技术学院科研项目(批准号: KY2020Z01Z, KY2021Z01Z, KY2021Y04Z)资助的课题.

摘要: 像素编码曝光成像技术是一种先进的高速成像技术, 其利用数字微镜器件(digital micromirror device, DMD)对相机每个像素的曝光进行编码, 将多帧图像信息融入到单帧编码图像中, 然后再利用解码算法进行图像重构, 将低帧频相机的图像采集速率提升数倍, 实现低帧频相机的高速成像. 在该技术中, DMD的像素与相机像素之间的精确匹配是实现编码曝光成像的前提, 因此, 相关研究人员主要关注于如何实现像素的精确匹配. 然而, 两者之间中继成像系统的分辨率作为编码曝光成像的另一重要影响因素, 却鲜有人研究和分析. 为此, 本文从理论上分析了中继成像系统的分辨率对解码图像重建效果的影响, 并结合模拟和实际成像实验对理论分析进行验证. 在此基础上, 搭建了像素编码曝光成像系统, 提出了一种基于条纹相位的成像系统点扩散函数估计方法, 并将Richard-Lucy反卷积算法引入到编码图像的重构过程中, 有效改善编码曝光成像的质量, 对于像素编码曝光成像技术的发展具有重要的意义.

English Abstract

    • 高速成像技术是研究瞬态变化现象的一种必不可少的工具, 被广泛应用于工业、医疗和军事等重要领域[1-4]. CCD或CMOS, 作为最为常用的成像探测器, 具有体积小、图像质量高、成本低等优点, 在光学成像技术中起着重要作用. 但是, 受到传感器阵列读出和存储数据时间的限制, 传统CCD或CMOS的图像采集帧率通常为30 Hz, 难以捕捉高速变化的动态物体场景[5-7], 然而现有的高速探测器不仅价格昂贵, 并且体积较大, 难以得到广泛的产业化应用. 为了解决上述问题, 多种基于像素编码曝光技术的高速成像方法被提出[8-13], 在2009年, Bub等[8]将像素编码曝光技术引入到生命科学领域, 提出了一种时间像素复用(temporal pixel multiplexing, TPM)的成像方法, 将原有的低帧率探测器的数据采集效率提升了25倍, 实现了心脏细胞的钙瞬变观测. 同年, Ri等[9]提出了一种单次曝光三维测量方法, 该方法通过像素编码曝光技术将包含被测物体轮廓信息的四张相移条纹图像记录在单帧编码图像中, 从而可以仅使用一次相机曝光和后期处理来计算出物体的三维信息, 实现动态物体的实时三维测量. 在2013年, Liu[10]将像素编码曝光和压缩感知算法相结合, 并通过视频学习的方法建立冗余的算法字典, 可以有效地从编码图像中重建出高分辨率的动态物体图像信息, 有效改善像素编码曝光成像分辨率与成像速度此消彼长的问题. 2016年, Feng等[11]对像素编码曝光成像技术进行了系统的理论分析, 并设计了三元素中值排序算法以实现对曝光元素的排序和组合, 最后依据时间序列从编码图像中提取多幅高分辨率的子帧, 大大地提高了成像系统的时间分辨率. 2018年, Khan等[12]基于频域时分复用理论, 通过像素编码曝光技术将不同时刻的图像信息放置在编码图像傅里叶域的相互不重叠区域, 然后再通过数字滤波将多帧图像信息提取出来, 实现高速成像. 2021年, Niu等[13]在 Khan工作基础上提出了一种高速高动态的成像方法, 该方法基于频域时分复用技术将不同曝光值的图像编码在单帧图像中, 然后通过图像提取和融合来重构出一张高分辨、高动态的图像, 相比于传统高动态成像技术具有更高的时间分辨率.

      综上所述, 像素编码曝光成像技术可以按照一定规律对相机上每个像素的曝光进行调制, 从而将多帧图像信息记录在单帧编码图像中, 然后再利用后期处理算法对多帧图像信息进行重构, 最终实现低帧率相机的高速成像[14-20]. 其中, 数字微镜器件(digital micromirror device, DMD)与CCD像素的匹配与校准是实现高精度图像调制编码的前提. 因此, 一些研究人员[21,22]开展了微镜与像素的匹配方法研究工作, 实现高精度的像素匹配. 值得一提的是, 像素编码曝光的成像效果不仅受到像素匹配的影响, 在DMD 与CCD之间的中继透镜的分辨率同样是一个重要的影响因素, 即使像素完全配准, 中继透镜较低的分辨率依旧会使不同图像在编码过程中产生串扰, 造成最终重构图像的模糊. 为了解决这一问题, 本文通过理论、模拟以及实际成像实验来系统地分析中继透镜的分辨率对像素编码曝光成像结果的影响. 在此基础上, 本文针对像素编码曝光成像技术提出了一种基于光栅条纹相位的中继透镜点扩散函数的测量方法, 并利用Richard-Lucy反卷积算法对编码图像进行反卷积处理, 有效改善低分辨率中继透镜条件下的像素编码曝光成像结果.

    • 根据像素编码曝光成像技术, 本文设计并搭建了一套像素编码曝光成像系统, 光路如图1(a)图1(b)所示, 首先被测物体表面受到数字光处理(digital light processing, DLP)投影仪照射下产生漫反射, 反射的信号光经透镜(组合镜头, Sunvision F 25 mm、慕藤光MT1.0-110-HR)和全内反射(total internal reflection,TIR)棱镜后聚焦到DMD(德州仪器DLP 4500, 微镜尺寸7.56 μm)面板上, 接着“on”状态的微反射镜会将信号光反射进后续的中继透镜 (慕藤光MZ7.0 X, 放大倍率为0.7×至 4.5×)中, 而“off”状态的则会将多余的信号光反射出系统. 最终调制后的信号光经中继透镜聚焦在CCD (映美精DMK 33 UX287, 像素尺寸6.9 μm)上并被记录. 为了精确控制CCD上每个像素的曝光起始和持续时间, 需要将DMD的每个微反射镜与CCD的像素进行精确匹配, 如图1(c)所示, 从而可以通过改变每个微反射镜“on”和“off”状态的持续时间来控制CCD每个像素曝光时间的长短.

      图  1  (a) 像素编码曝光成像光路设计; (b) 实验装置; (c) DMD微反射镜与CCD像素对应关系

      Figure 1.  (a) Optical configuration design of pixel-wise coded exposure; (b) experimental device; (c) mapping relationship between DMD micro-mirrors and the CCD pixels.

      基于上述系统, 利用数字采集卡(data acquisition, DAQ)对DMD和CCD进行同步触发, 通过切换DMD载入的二值图案来控制每个微反射镜的开关状态, 保证每一时刻仅特定位置的CCD像素进行曝光, 从而将不同帧物体的图像信息编码到单帧的图像中, 如图2(a)所示. 实验将采用文献[8]中的编码方式, 其中CCD每次曝光的时间为T, DMD编码模板持续的时间为t, 具体如图2(b)所示, 在相机每次长曝光时间内, 对DMD进行四次分时切换, 将四幅图像信息编码到单帧图像中. 最终, 根据编码方式对图像的像素值进行提取, 重构出物体在$ {t}_{1}—{t}_{4} $四个不同时刻的A, B, C, D图像信息.

      图  2  (a) 单帧编码图像; (b) DMD与CCD之间的同步控制原理; (c) 不同时刻的重构图像信息

      Figure 2.  (a) Single frame encoded image; (b) principle of synchronous control between DMD and CCD; (c) reconstructed image information at different times.

    • 根据像素编码曝光成像的原理, 物体经透镜成像在DMD上时, 其光强信号分布为$ {I}_{0}\left(x, y, N\right) $, 经模板$ S\left(x, y, N\right) $编码后被中继透镜成像在CCD上, 当动态物体经连续编码成像后, 其编码后的单帧图像信息可以表示为

      $\begin{split} I(x,y) = \sum _{N=1}^{k}\left[S(x,y,N)\cdot {I}_{0} (x,y,N)\right]*h (x,y), \end{split}$

      式中, k为编码图像个数; $ * $为卷积运算; h为中继透镜的理论强度点扩散函数(point spread function, PSF), 采用高斯函数近似, $ \dfrac{1}{2\text{π}{\sigma }^{2}}\exp\left( -\dfrac{{{x}^{2}+y}^{2}}{2{\sigma }^{2}} \right) $, 其标准差$ \sigma $决定了中继透镜的分辨率. 根据(1)式可以看出, 随着$ \sigma $增加, 图像I的分辨率会逐渐下降, 最终导致重构图像的信息错误. 为了验证这一点, 本文利用数值模拟来分析单个“on”状态的DMD微镜在CCD上的像素值分布, 结果如图3所示. 假设CCD的像素尺寸为6.9 μm, 与实验使用的相机参数一致; 当PSF的$ \sigma $ = 2.1 μm, 约0.3 CCD pixelsize, 微镜反射的信号光全部聚焦在对应的CCD像素上, 没有对相邻的CCD像素产生影响, 如图3(a)所示. 随着中继透镜分辨率的降低, $ \sigma $会随之增大, 从而造成CCD上的聚焦光斑尺寸变大, 最终对特定像素周边的灰度值产生影响, 如图3(b)图3(c)所示. 从图3(b)图3(c)可以看出, 当中继透镜分辨率较低时, 不同的图像信息$ S\left(x, y, N\right)\cdot E\left(x, y, N\right) $会在CCD的像素之间产生串扰, 造成重构图像错误. 为了改善这一问题, 利用Richard-Lucy反卷积算法对图像I进行反卷积处理后再进行图像重构, 可以有效减少多帧图像在编码过程中的串扰, 提高成像效果.

      图  3  (a) $ \sigma $ = 0.3 pixelsize时的成像效果; (b) $ \sigma $ = 0.6 pixelsize时的成像效果; (c) $ \sigma $ = 0.9 pixelsize时的成像效果

      Figure 3.  (a) Imaging effect of image I when $ \sigma $ = 0.3 pixelsize; (b) imaging effect of image I when $ \sigma $ = 0.6 pixelsize; (c) imaging effect of image I when $ \sigma $ = 0.9 pixelsize.

    • 在实际应用中, 中继透镜的分辨率与理论数值存在一定差异, 为了准确地测量中继透镜的实际PSF, 传统方法主要利用透镜对尺寸小于分辨率的点状物体或图案进行成像, 在相机探测面上形成独立分布的圆形光斑, 然后利用二维高斯函数对光斑进行曲面拟合来获得标准差$ \sigma $, 最终利用$ \sigma $计算出高斯函数的半高宽, 即透镜的分辨率. 该方法虽然原理简单, 但是存在样品制备成本高的问题. 为此, 本文提出了一种基于光栅条纹相位的PSF测量方法, 该方法不需要额外特制的成像样品, 具有更强的适用性, 其工作原理如下, 首先, 利用投影仪向白色参考平面投射四幅相移$ \text{π}/2 $的正弦光栅条纹图案, 其分布用公式表示:

      $ {I}_{1}\left(x,y\right)={I'}\left(x,y\right)+{I''}\left(x,y\right)\left[\cos\varphi \left(x,y\right)\right]\text{, } $

      $ {I}_{2}(x,y)={I'}(x,y)+{I''}(x,y)\cos\left[\varphi \right(x,y)-\rm{\pi }/2]\text{, } $

      $ {I}_{3}\left(x,y\right)={I'}\left(x,y\right)+{I''}\left(x,y\right)\cos \left[\varphi \left(x,y\right)-\rm{\pi }\right]\text{, } $

      $ {I}_{4}\left(x,y\right)={I'}\left(x,y\right)+{I''}\left(x,y\right)\cos \left[\varphi \left(x,y\right)-\frac{3\rm{\pi }}{2}\right]\text{, } $

      式中, $ {I'}(x, y) $$ {I''}(x, y) $分别代表平均背景亮度和调制幅度; $ \varphi (x, y) $是期望获取的相位值.

      将四幅条纹图像编码到单帧图像中(图4(a))并与数值模拟产生的PSF图像(图4(b))进行反卷积处理. 最终, 从编码图像中重构出四幅条纹图案(图4(c))并用

      图  4  (a) 单帧条纹编码图像; (b) 数值模拟产生的PSF; (c) 重构的条纹图像信息; (d) 计算获得的相位图; (e) 图(d)中黄线虚线处的切面相位值

      Figure 4.  (a) Single frame fringe encoded image; (b) numerical simulation of PSF; (c) reconstructed fringe image information; (d) calculated phase diagram; (e) section phase value at dotted line of yellow line in Figure (d).

      $ \phi (x,y)={\rm{t}\rm{a}\rm{n}}^{-1}\frac{\displaystyle\sum\nolimits_{n=0}^{N-1}{I}_{n}(x,y)\sin\left(\dfrac{2{\rm{\pi }}n}{N}\right)}{\displaystyle\sum\nolimits_{n=0}^{N-1}{I}_{n}(x,y)\cos \left(\dfrac{2{\rm{\pi }}n}{N}\right)} $

      计算折叠相位图像(图4(d)), 其在某个周期内的相位变化如图4(e)所示.

      可以看出, 当模拟PSF的$ \sigma $与真实值差距较大时, 相位切面的线性度较差, 随着$ \sigma $不断接近真实值, 曲线的线性度越来越好, 因此, 本文利用Levenberg-Marquarelt算法来获取线性度最佳时对应$ \sigma $, 从而精确地获取中继透镜的PSF.

    • 为了进一步验证中继透镜分辨率对编码图像信息准确性的影响, 本文根据图1的系统光路进行成像模拟, 其中CCD像素尺寸设为6.9 μm. 首先, 实验生成四张模拟图像A, B, C, D, 尺寸为300 pixel × 300 pixel, 接着将四张图像分别乘以编码模板并与不同$ \sigma $的PSF进行卷积处理, 最后将编码卷积后的图像的像素值进行直接叠加, 获得最终的单帧编码图像, 过程如图5所示.

      图  5  单帧编码图像

      Figure 5.  Single frame encoded image.

      接着, 对不同$ \sigma $值的编码图像进行对比, 如图6(a)(c)所示. 通过局部放大的图像信息可以看出, 当PSF的σ为0.3 CCD pixelsize时, 如图6(a)所示, 像素之间的边界非常明显. 但是随着σ的增加, 区域图像变得更为模糊, 这说明原始的多帧图像信息在编码中产生了干扰, 如图6(b)图6(c)所示. 如果直接对编码图像中A对应像素位置的像素值进行提取, 则重构图像A中将包含大量多余的信息, 如图6(f)图6(g)所示. 可以发现, 重构图像A中包含了BCD的部分信息, 造成图像A的失真. 为了改善这一问题, 对编码图像6(a)(c)进行反卷积处理并再次对像素值进行提取. 通过比较图6(i)图6(f)可以看出, 反卷积算法的引入能够有效减少编码图像中像素之间的信息串扰, 将重构图像中多余信息很好的滤除. 最后, 通过对两组重构图像的峰值信噪比(peak signal to noise ratio, PSNR)进行计算和分析, 可以发现, 中继透镜分辨率的高低直接决定了重构图像质量的好坏, 并且Richard-Lucy反卷积算法的引入能够在一定程度上提升图像最终的重构质量.

      图  6  (a)—(c) 不同$ \sigma $值的编码图像; (e)—(g) 对编码图像直接提取得到的重构图像; (h)—(k)对编码图像反卷积处理后的重构图像

      Figure 6.  (a)–(c) Coded images of different $ \sigma $; (e)–(g) the reconstructed image obtained by directly extracting the coded image; (h)–(k) the reconstructed image after deconvolution of the coded image.

    • 为了验证真实工作状态下中继透镜分辨率对像素编码曝光成像的影响, 本文使用两款不同分辨率的中继透镜(慕藤光MZ7.0X和陕西维视ZML6.4X), 利用自主搭建的编码曝光成像系统进行实际成像实验. 开展成像实验之前, 为了获取中继透镜的真实PSF标准差, 实验将基于2.3节的方法进行, 首先通过投影条纹图案并相机同步采集来获取编码后的图像, 如图7(a)所示. 接着, 对编码图像进行反卷积处理并重构出四幅不同的条纹图像. 然后, 通过判断某个周期内相位变化的线性度来确定PSF标准差的准确性, 如图7(d)所示, 其为图7(c)中黄线位置的切面相位值的线性拟合结果. 最终, 通过使用Levenberg-Marquarelt算法进行8次迭代计算, 获得中继透镜PSF的标准差σ. 经计算, 慕藤光MZ7.0X和陕西维视ZML6.4X的σ分别约为2.7 μm和4.1 μm, 即实际分辨率分别为6.4 μm和9.7 μm.

      图  7  (a) 编码图像; (b) 重构的条纹图像信息; (c) 相位图; (d) 图(c)中黄线位置的切面相位值的线性拟合结果

      Figure 7.  (a) Coded images; (b) reconstructed fringe image information; (c) phase diagram; (d) linear fitting results of phase values of the yellow line position in Figure (c).

      为了进一步验证中继透镜的分辨率对像素编码曝光成像的影响, 使用石膏雕像作为被测样品, 通过搭建系统对样品在四个不同的位姿进行成像并编码在一张图像中, 如图8(a)图8(c)所示. 接着, 分别对编码图像中的像素值进行提取排布, 获得两组清晰的重构石膏图像, 如图8(a1)(a4)图8(c1)(c4)所示. 从图8(a1)(a4)图8(c1)(c4)可以看出, 在两种分辨率条件下重构的石雕表面均存在重影, 原本清晰的头发细节变得模糊难以分辨, 特别是一些黑色背景区域出现了多余的石雕信息. 接着, 利用Richard-Lucy反卷积算法将原图8(a)图8(c)分别与计算得到的PSF图像进行反卷积处理并进行图像重构. 通过上下两行图片的对比, 可以看出经反卷积处理后重构图像的PSNR得到大幅提升, 黑色的背景区域没有出现多余的图像信息. 最后, 通过对不同分辨率条件下的重构图像质量进行对比分析, 可以看出高分辨率相比低分辨率而言能够获得更高质量的重构图像, 减少图像之间的信息串扰, 实验结果与3.1节数值模拟结果一致. 因此, PSF在像素编码曝光成像中是一个非常关键的影响因素, 低分辨率中继透镜的应用会降低最终重构图像的准确性.

      图  8  (a) 低分辨率条件下的编码图像及重构结果; (b) 编码图象(a)经反卷积处理及重构的结果; (c) 高分辨率条件下的编码图像及重构结果; (d) 编码图象(c)经反卷积处理及重构的结果

      Figure 8.  (a) Coded images and reconstruction results at low resolution; (b) results of deconvolution and reconstruction of coded image (a); (c) coded images and reconstruction results at high resolution; (d) results of deconvolution and reconstruction of coded image (c).

    • 本文理论分析了中继透镜的分辨率对像素编码曝光成像结果的影响. 在此基础上, 通过模拟实验验证了点扩散函数的尺寸与编码图像重构质量的关系. 另外, 本文引入了Richard-Lucy反卷积算法, 通过将编码图像与中继透镜的点扩散函数进行反卷积, 有效地改善中继透镜分辨率不足造成的影响. 在此基础上, 本文自主搭建了一套像素编码曝光成像系统, 通过实验验证了中继成像透镜的点扩散函数对成像结果的影响. 通过本文的工作, 不仅可以帮助研究人员更好地开展高速成像技术的相关研究工作, 并且能够有效地改善曝光编码成像的图像质量, 具有重要的意义.

参考文献 (22)

目录

    /

    返回文章
    返回