下载:
-
水下光学成像技术在海底资源勘探、海洋环境监测、水下考古及军事侦察等诸多领域有着广泛的应用前景[1-4]. 然而, 受水体本身及其中悬浮微粒、可溶性有机物等混浊介质影响, 光线会被部分吸收和后向散射, 发生“帷幔效应”[5], 导致水下获取的图像产生细节缺失、噪声增大及对比度大幅下降等问题. 而水下图像质量下降的主要原因在于后向散射光的干扰[6], 基于后向散射光的部分偏振特性[7], 水下偏振成像方法作为一种有效抑制后向散射光的水下光学成像技术被提出, 近年来国内外诸多学者对此展开了深入研究.
水下环境光照较弱, 按是否采用主动光源照明, 水下偏振成像方法被分为被动偏振成像和主动偏振成像两大类. 最经典的水下被动偏振成像方法由Schechner和Karpel [8]提出, 该方法将大气偏振去雾算法[9]延伸到水下, 通过目标信息光与后向散射光的偏振特性差异与联系, 结合水下物理退化模型[10]反演出清晰的水下场景图像. 但由于假设目标信息光偏振度为零, 该方法仅适用于低偏振度目标. Treibitz和Schechner [11]提出的主动偏振成像方法则将目标信息光偏振度设为常数, 通过目标信息光和后向散射光的互信息对目标信息光偏振度进行估计, 使得成像原理变得更加简明. 近些年, 这两种经典模型被不断优化修正. Li等[12]将水下被动偏振成像技术与数字图像处理技术相结合, 通过图像预处理手段提高了复原图像质量. 封斐等[13]在考虑目标信息光偏振度的基础上, 认为后向散射光偏振度是不均匀的, 通过对后向散射光偏振度进行全局估计, 使得高偏振度和低偏振度目标的复原质量均得到有效提升. 但以上方法均需通过背景区域对后向散射光偏振度进行估算, 因此仅适用于有背景区域情况下水下目标的复原. Zhao等[14]于2022年提出一种无先验水下主动偏振成像方法, 通过复原图像的对比度自动估计目标信息光偏振度和后向散射光偏振度, 成功解决了背景区域限制问题. 但该方法仅考虑到高对比度[15]这一单一复原图像质量指标, 而忽略了其他图像质量指标, 会使高偏振度目标陷入“过曝”状态, 自动获取的偏振反演参数失效, 复原图像的综合质量下降, 不符合主观视觉.
针对仅追求单一指标导致复原图像综合质量降低的问题, 本文在Zhao等[14]方法(简称赵方法)的基础上, 提出一种基于双层多指标优化的水下偏振成像方法. 引入互信息、对比度和信息熵3项评价指标, 以互信息和对比度构建第1层目标函数, 获取偏振反演参数最优解集; 以信息熵为第2层目标函数, 在最优解集中对偏振反演参数进行优选, 并结合数字图像处理手段, 根据最优偏振反演参数之差选取适宜的图像处理方法, 进一步提升复原图像质量. 本文所述方法在无图像背景区域限制的基础上, 通过双层多指标和数字图像处理技术的引入, 解决了单一评价指标在成像反演过程中的局限性问题, 并能够平衡各项图像质量评价指标, 有效凸显图像细节信息, 提升复原图像综合质量. 本工作通过自主搭建的主动光源照明的水下偏振成像实验装置, 验证了所提方法的有效性和稳定性.
-
水下主动偏振成像模型如图1所示. 在水下成像过程中, 相机接收到的图像可以认为是目标信息光、后向散射光和前向散射光的线性组合. 水下图像质量下降主要源于后向散射光的影响, 因此一般忽略前向散射光, 相机探测到的总光强即图像辐照度
$I$ 可以简化表示为[6,8]
图 1 水下主动偏振成像模型
Figure 1. Underwater active polarization imaging model.
$ I = S + B\text{, } $ 式中,
$S$ 来源于视场中目标物的辐照, 即目标信息光;$B$ 来源于悬浮粒子的散射作用, 即后向散射光, 也称背景散射光.针对目标信息光和后向散射光的偏振特性, 现有的几种成像方法中, 水下被动偏振成像方法认为后向散射光是部分偏振光, 目标信息光近似于非偏振光, 而水下偏振差分方法[16,17]则正好相反, 其认为后向散射光是非偏振光, 目标信息光是部分偏振光. 水下主动偏振成像模型提出一种更为符合水下实际情况的假设, 即目标信息光和后向散射光皆为部分偏振光. 参照文献[11]中描述, 基于最亮图像
${I_{\max }}$ 和最暗图像${I_{\min }}$ , 可对上述目标信息光$S$ 和后向散射光$B$ 进行建模. 旋转相机前的线偏振片, 相机探测到的图像将产生明暗变化, 找到最亮图像记为${I_{\max }}$ , 此时图像包含最大可见后向散射光; 找到最暗图像记为${I_{\min }}$ , 此时图像包含最小可见后向散射光,${I_{\max }}$ 和${I_{\min }}$ 的偏振方向相互正交.$S$ 光和$B$ 光的具体模型如下式[11]:$ \left\{\begin{aligned} &S=\frac{1}{{P}_{\text{scat}}-{P}_{\text{obj}}}\left[{I}_{{\rm{min}}}\left(1+{P}_{\text{scat}}\right)-{I}_{{\rm{max}}}\left(1-{P}_{\text{scat}}\right)\right]\text{, }\\ &B=\frac{1}{{P}_{\text{scat}}-{P}_{\text{obj}}}\left[{I}_{{\rm{max}}}\left(1-{P}_{\text{obj}}\right)-{I}_{{\rm{min}}}\left(1+{P}_{\text{obj}}\right)\right]\text{, }\end{aligned}\right. $ 式中,
${P_{{\text{obj}}}}$ 为目标信息光偏振度;${P_{{\text{scat}}}}$ 为后向散射光偏振度. 根据(2)式, 若目标信息光偏振度${P_{{\text{obj}}}}$ 和后向散射光偏振度${P_{{\text{scat}}}}$ 已知, 即可利用目标信息光$S$ 与后向散射光$B$ 的偏振特性差异将二者有效分离, 且${P_{{\text{obj}}}}$ 和${P_{{\text{scat}}}}$ 这两项参数估计越准确, 所求目标复原图像质量就越高. 但值得注意的是, 由于${P_{{\text{scat}}}} - {P_{{\text{obj}}}}$ 在分母上, 当${P_{{\text{obj}}}}$ 和${P_{{\text{scat}}}}$ 相差很小时并不利于目标的清晰重建. 此外, 根据文献[18]可知, 复原图像引入的噪声也与${P_{{\text{obj}}}}$ 和${P_{{\text{scat}}}}$ 的差值相关, 当${P_{{\text{obj}}}}$ 和${P_{{\text{scat}}}}$ 差值很小时, 复原图像往往会伴随着大量的噪声.文献[11]认为图像背景区域不含目标信息光,
${P_{{\text{scat}}}}$ 在整个成像区域均匀稳定分布, 因此可通过手动截取一块无目标背景区域并计算均值获取${P_{{\text{scat}}}}$ . 而对于${P_{{\text{obj}}}}$ 的估计, 是在${P_{{\text{scat}}}}$ 已获取的基础上, 选取能使$B$ 光和$S$ 光两者互信息最小的${P_{{\text{obj}}}}$ .${\text{MI}}\left( {B{\text{, }}S} \right)$ 为互信息计算函数, 用以表征后向散射光$B$ 与目标信息光$S$ 之间相关性[11]:$ {\text{MI}}\left( {B,S} \right) = \sum\limits_{b \in B} {\sum\limits_{s \in S} {{\text{prob}}\left( {b,s} \right)\log \left[ {\frac{{{\text{prob}}\left( {b,s} \right)}}{{{\text{prob}}\left( b \right){\text{prob}}\left( s \right)}}} \right]} } \text{, } $ 式中,
$b$ 和$s$ 为(2)式计算所得后向散射光$B$ 与目标信息光$S$ 的图像灰度级;${\text{prob}}\left( b \right)$ 和${\text{prob}}\left( s \right)$ 为$B$ 与$S$ 的边缘分布函数;${\text{prob}}\left( {b{\text{, }}s} \right)$ 为联合概率分布函数. 互信息越小, 后向散射光$B$ 和目标信息光$S$ 的分离效果就越好, 所求目标复原图像质量也越高. 不过, 此方法受限于图像背景区域选取不确定性和单一互信息指标, 图像的复原质量并不稳定. -
文献[14]提出的无先验水下主动偏振成像方法考虑到偏振度为偏振光在总光强中所占比例, 将目标信息光偏振度
${P_{{\text{obj}}}}$ 和后向散射光偏振度${P_{{\text{scat}}}}$ 设置为变量, 并在0—1范围内施加如下限制条件[14]:$ \left\{\begin{aligned} &{P}_{\text{scat}} \geqslant {\bar P} \geqslant {P}_{\text{obj}}\\ &{P}_{\text{scat}} \geqslant {I}_{\text{pd}} \end{aligned}\right. ~\displaystyle \bigcup~ {P}_{\text{obj}} \geqslant {\bar P} \geqslant {P}_{\text{scat}} \geqslant {I}_{\text{pd}} \geqslant {P}_{\text{obj}} -{P}_{\text{scat}}, $ 式中:
$\mathop P\limits^\_ $ 为总光强偏振度平均值,${I_{{\text{pd}}}} = {I_{{\max}}} - {I_{\min }}$ . 该方法认为${P_{{\text{obj}}}}$ 和${P_{{\text{scat}}}}$ 二者估计最准确时必定使目标复原图像对比度最高, 因此其将对比度${\text C}\left( S \right)$ 作为唯一目标函数, 采用遗传算法[19]获取目标信息光图像对比度最高时对应的${P_{{\text{obj}}}}$ 与${P_{{\text{scat}}}}$ , 并代入(2)式模型中获取所需目标复原图像. 对比度${\text C}\left( S \right)$ 是衡量水下图像质量的有效参数, 对比度越高, 图像质量越好[15]:$ {\text C}\left(S\right)=\frac1{\overline{S}} {\sqrt{\frac{\text{1}}{N}{\displaystyle {\sum }_{x,y}{\left[S\left(x,y\right)-\overline{S}\right]}^{2}}}}\text{, } $ 式中,
$N$ 为图像中的总像素数,$\overline S$ 为图像的灰度平均值,$S\left( {x, y} \right)$ 为像素点$\left( {x, y} \right)$ 对应的灰度值. 此方法将成像问题转化为单目标双变量优化求解问题, 成功解除了图像背景区域的限制, 同时也无需人机交互. 但仅依赖单一指标优化求解过于片面, 可能使复原图像陷入“过曝”状态, 无法有效复原水下目标. 此外, 后向散射光$B$ 也未能得到充分的利用. -
考虑到上述问题, 本文在文献[14]方法基础上, 提出一种基于双层多指标优化的水下偏振成像方法. 采用互信息、对比度和信息熵为复原图像的评价指标, 通过多指标评价, 确保复原图像的综合质量. 在偏振反演参数自动获取过程中采用双层优化结构, 以互信息和对比度构建第1层目标函数, 通过第1层优化, 获取偏振反演参数的最优解集; 以信息熵为第2层目标函数, 在最优解集中对偏振反演参数进行二次优选, 获取最终最优偏振反演参数. 最后, 结合数字图像处理手段, 根据最优偏振反演参数之差选取适宜的图像处理方法, 进一步提升复原图像质量.
-
将
${P_{{\text{obj}}}}$ 与${P_{{\text{scat}}}}$ 的值限定在0—1之间, 利用多目标优化算法选取最优偏振反演参数解集. 联立互信息${\text{MI}}\left( {B{\text{, }}S} \right)$ 和对比度${\text C}\left( S \right)$ 为第1层目标函数, 以使目标信息光图像具有高对比度的同时, 满足后向散射光$B$ 与目标信息光$S$ 的充分分离, 即互信息较小. 具体采用NSGA-Ⅱ算法[20](带精英策略的快速非支配排序遗传算法)获取${P_{{\text{obj}}}}$ 与${P_{{\text{scat}}}}$ 的最优解集合${\left\{ {{P_{{\text{obj}}}}, {P_{{\text{scat}}}}} \right\}_{{\text{optimal}}}}$ , 即:$ \begin{split} & {\left\{{P}_{\text{obj}},{P}_{\text{scat}}\right\}}_{\text{optimal}}\\ =\;& \text{NSGA-}{\rm I}{\rm I}\left\{\begin{aligned} &\underset{{P}_{\text{obj}},{P}_{\text{scat}}\in \left[\text{0}\text{, }\text{1}\right]}{{\rm{arg}}{\rm{min}}}\left[\text{MI}\left(B\text{,}S\right)\right], \\ &\underset{{P}_{\text{obj}},{P}_{\text{scat}}\in \left[\text{0}\text{, }\text{1}\right]}{{\rm{arg}}{\rm{max}}}\left[\text{C}\left(S\right)\right], \end{aligned} \right. \end{split}$ 此最优解集合为Pareto最优解集, 本工作中, 最优解集含量为30组解, 且每组解都满足如
$\left( {{P_{{\text{obj}}}}, {P_{{\text{scat}}}}} \right)$ 取值偏离最优, 提高对比度就会增大互信息或减小互信息就会降低对比度. -
得到最优解集合
${\left\{ {{P_{{\text{obj}}}}, {P_{{\text{scat}}}}} \right\}_{{\text{optimal}}}}$ 后, 以信息熵${\text{Entropy}}\left( S \right)$ 为第2层目标函数, 在最优解集合中遍历选取使目标信息光图像信息熵计算结果最大的情况, 即:$ \left( {P_{{\text{obj}}}^{{\text{optimal}}},P_{{\text{scat}}}^{{\text{optimal}}}} \right) = \mathop {\arg \max }\limits_{{{\left\{ {{P_{{\text{obj}}}},{P_{{\text{scat}}}}} \right\}}_{{\text{optimal}}}}} \left[ {{\text{Entropy}}\left( S \right)} \right]\text{, } $ 其中,
${\text{Entropy}} = - \displaystyle\sum\nolimits_k {{p_k}{{\log }_2}{p_k}}$ 为信息熵计算函数, 式中${p_k}$ 为灰度级k的出现概率. 该指标用以衡量目标信息光图像的信息丰富程度, 数值越大代表图像质量越高. 通过对最优解集的遍历优选, 获取最终解$\left( {P_{{\text{obj}}}^{{\text{optimal}}}, P_{{\text{scat}}}^{{\text{optimal}}}} \right)$ , 将其代入(2)式的模型中, 可求得目标复原图像${S^{{\text{optimal}}}}$ , 即:$\begin{split} {S^{{\text{optimal}}}} =\;& \frac{1}{{P_{{\text{scat}}}^{{\text{optimal}}} - P_{{\text{obj}}}^{{\text{optimal}}}}}\bigg[ {I_{\min }}\left( {1 + P_{{\text{scat}}}^{{\text{optimal}}}} \right) \\ &- {I_{\max }}\left( {1 - P_{{\text{scat}}}^{{\text{optimal}}}} \right) \bigg].\end{split} $ -
此外, 为进一步提升复原图像质量, 本文根据
$\left( {P_{{\text{obj}}}^{{\text{optimal}}}, P_{{\text{scat}}}^{{\text{optimal}}}} \right)$ 两参数之间差值, 选择两种数字图像处理手段对目标复原图像进行优化, 即:$ S_{{{\text{final}}}}^{{{\text{optimal}}}} = \left\{ {\begin{aligned} &{\text{WaveletDenoising}}\left( {{S^{{\text{optimal}}}}} \right), & \left| {{P_{{\text{dif}}}}} \right| \leqslant 0.05, \\ & {\text{CLAHE}}\left( {{S^{{\text{optimal}}}}} \right), & {\rm{otherwise}}, \end{aligned}} \right. $ 其中, 当
$\left| {{P_{{\text{dif}}}}} \right| = \left| {P_{{\text{obj}}}^{{\text{optimal}}} - P_{{\text{scat}}}^{{\text{optimal}}}} \right| \leqslant 0.5$ 时, 认为引入噪声过大, 此时选用小波去噪方法[21] (Wavelet Denoising)滤除复原图像的过剩噪声; 其他情况下, 则认为引入噪声在可接受范围内, 采用限制对比度自适应直方图均衡化方法[22] (CLAHE)进一步优化复原图像质量, 增强可视性. 本文的双层多指标优化算法具体流程图如图2所示.
图 2 双层多指标优化算法流程图
Figure 2. Flow chart of the two-layer multi-index optimization algorithm.
-
本文水下偏振成像实验全程在暗室内进行以避免杂散光干扰, 实验验证装置如图3所示. 照明光源为白光LED灯, 光源后放置线偏振片1作为起偏器, 通光方向调整为水平方向, 用以产生线偏振光. 目标物放置在浑浊水体中, 线偏振光经过目标物反射与浑浊水体散射后, 分别产生了目标信息光与后向散射光, 两者组成的光信号经过线偏振片2检偏, 最终被图像采集设备接收. 实验中水箱的规格为400 mm×300 mm×400 mm, 材质为透光率超过90%的PMMA(聚甲基丙烯酸甲酯), 在水箱中加入清水, 水深250 mm, 再加入20 ml脱脂牛奶以获得浑浊水体. 目标物选择为具有低偏振度特性的塑料玩具、具有高偏振度特性的金属尺和具有高低偏振度混合特性的粘有一元金属硬币的塑料魔方, 并将其放置于水箱中距离左边缘250 mm处. 图像采集设备为大恒图像公司生产的MER-2000-19 U3 M-L型号黑白相机, 与光源一起放置于水箱左侧, 两者皆距离水箱左边缘100 mm.
图 3 水下偏振成像实验装置示意图
Figure 3. Schematic of experimental setup for underwater polarization imaging.
为表明双层多指标方法中第1层目标函数和第2层目标函数的各自作用, 以玩具为目标物给出了最优解集中不同解值的复原结果, 如图4所示, 其中图4(a1)—(d1)为玩具的目标信息光图像, 图4(a2)—(d2)为后向散射光图像, 且相应的偏振反演参数以白色字体在图中标注. 最优解集中的偏振反演参数由互信息和对比度构成的第1层目标函数确定, 采用信息熵构成的第2层目标函数在最优解集中进行优选获取最终解, 最终解对应的目标复原图像如图4(d1)所示. 表1给出了不同解值复原结果的互信息、对比度和信息熵数值. 通过主观视觉评价和客观评价指标对比可以发现, 图4(d1)的清晰度要优于其他图像, 同时其对比度和信息熵数值也高于其他图像, 充分证明了第2层目标函数的二次优选作用.
图 4 最优解集中不同解值的复原结果对比 (a1)—(d1) 不同解值的目标信息光图像; (a2)—(d2) 不同解值的后向散射光图像
Figure 4. Comparison of restoration results with different solution values: (a1)–(d1) Images of target signal light; (a2)–(d2) images of backscattered light.
Index (a) (b) (c) (d) MI(B, S) 2.529 2.969 2.062 3.093 C(S) 0.203 0.279 0.067 0.306 Entropy(S) 4.834 4.695 4.455 4.953 表 1 不同解值复原图像的客观指标评价结果
Table 1. Objective index evaluation results of restored images with different solution values.
将本文所提方法与其他水下主动偏振成像方法进行对比, 不同偏振特性目标物的原始拍摄图像和复原图像如图5所示. 从左往右, 每列依次为总光强图像, Treibitz和Schechner [11]原算法复原图像, Zhao等[14]无先验算法复原图像和本文双层多指标优化算法复原图像. 图6则展示了图5划线处像素的光强值分布曲线, 用于评价各复原图像的对比度和噪声水平. 通常光强分布曲线会映照图像细节特征并伴有波动, 波动峰谷值相差越大, 说明图像细节对比度越高, 但如曲线产生密集抖动, 则说明图像含有噪声, 抖动幅度越大, 噪声水平越高.
图 5 含背景图像复原结果对比
Figure 5. Comparison of restoration results of images with background.
图 6 图5划线处光强值分布曲线图 (a) 玩具图像划线处; (b) 金属尺图像划线处
Figure 6. Intensity distribution at the scribe lines of Fig. 5: (a) Scribe line of toy; (b) scribe line of metal ruler.
从图5(a)—(d)可以看出, 对于低偏振度特性的玩具, Zhao方法和本文方法的复原结果在对比度和清晰度上都明显优于Treibitz原方法, 但Zhao方法复原图像出现了肉眼可见的颗粒感噪声. 进一步观察图6(a)发现, Zhao方法和本文方法的曲线趋势较为一致, 两种方法的峰谷值均大于Treibitz原方法, 说明复原图像的对比度得到了有效提升. 同时也可以看出, 本文方法的曲线抖动幅度相较于Zhao方法明显减小, 说明本文方法复原图像的噪声水平更低. 而从表2可以看到, 本文方法和Zhao方法获取的偏振反演参数十分接近, 主观视觉出现差异的主要原因就在于本文依据
$\left| {{P_{{\text{dif}}}}} \right|$ 判定复原结果噪声水平较高, 采用小波去噪方法对复原图像进行了后续的处理, 从而有效降低了噪声水平. 对于具有高偏振度特性的金属尺, 结合图5(f)和表2可以发现, Treibitz原方法仅依赖$B$ 光和$S$ 光的互信息最小值估计偏振反演参数, 以致无法估计出正确的${P_{{\text{obj}}}}$ , 该方法失效. 而从图5(g)和(h)可以看出, Zhao方法为使对比度最大化, 金属尺出现了局部“过曝”现象, 本文方法则在清晰呈现图像细节信息的基础上有效避免了“过曝”现象. 进一步观察图6(b)发现, Zhao方法曲线展现出最高峰谷值的同时, 也拥有极剧烈的抖动幅度, 说明其对比度虽高, 却拥有极高的噪声水平; 而本文方法复原图像通过CLAHE处理, 相应光强值分布曲线则表现出较高的对比度的和较低的噪声水平. 另外, Zhao方法曲线在像素位置50—170之间几乎全部置顶, 表明发生了“过曝”现象, 与主观视觉判断相吻合. 对于具有高低偏振度混合特性的魔方-硬币, 结合图5(j)和表2数据可以发现, Treibitz原方法同样失效. 而从图5(k)和(l)可以看出, Zhao方法过于追求对比度最大化, 使高偏振度特性的硬币区域出现了明显“过曝”现象, 而低偏振度特性的魔方区域则“隐于黑暗”, 完全无法显示目标细节信息; 本文方法则有效复原了硬币区域, 虽受限于只能应对单一偏振特性目标的本质, 没有成功复原魔方区域, 但也凸显了魔方区域的细节, 比如右上角的字母“I”. 这也是因为本文方法不以对比度最大化为最终目的, 考虑多种图像质量评价指标, 从而有效保留了不同偏振特性部位的目标细节信息.Parameter Toy Ruler Cube-coin Treibitz Zhao Our Treibitz Zhao Our Treibitz Zhao Our Pobj 0.190 0.249 0.248 1 0.503 0.501 1 0.668 0.649 Pscat 0.291 0.271 0.272 0.479 0.495 0.445 0.659 0.651 0.586 |Pdif| 0.101 0.022 0.024 0.521 0.008 0.056 0.341 0.017 0.063 表 2 含背景图像偏振反演参数对比
Table 2. Comparison of polarization inversion parameters of restored images with background.
为了定量评价图像质量, 除了图像对比度和信息熵, 本文还采用信噪比(SNR)和自然度图像质量评估器[23](NIQE)作为客观评价指标对复原结果进行比较, 其中NIQE作为一种基于图像空间域统计规律描述图像失真程度的通用评价标准, 数值越低代表图像质量越高, 其余指标皆是越高越好, 具体数值如表3所示. 因不同客观指标质量评价值各不相同, 且重要程度不同, 以各项指标的变化率为基础, 按指标的重要性配置权重, 引入线性函数
$ f\left( {{\text{roc}}} \right) $ 综合评价复原图像质量提升率, 其数值越大, 代表复原图像综合质量提升越明显, 具体表达式如下:Image SNR Entropy Contrast NIQE Toy-Intensity 15.607 5.373 0.033 9.208 Toy-Treibitz 4.120 5.949 0.096 11.008 Toy-Zhao 3.269 5.183 0.319 11.889 Toy-Our 3.653 7.279 0.287 8.989 Ruler-Intensity 24.047 3.826 0.011 10.126 Ruler-Treibitz 3.368 3.059 0.008 8.337 Ruler-Zhao 2.954 2.079 0.448 15.465 Ruler-Our 6.318 6.971 0.138 14.719 Cube-coin-Intensity 17.751 4.951 0.018 7.982 Cube-coin-Treibitz 1.281 3.294 0.014 7.046 Cube-coin-Zhao 2.535 2.532 0.407 12.732 Cube-coin-Our 7.028 7.635 0.178 12.154 表 3 含背景复原图像的客观评价结果
Table 3. Objective index evaluation results of restored images with background.
$\begin{split}f\left(\text{roc}\right)=\;&0.1\times {\text{SNR}}_{\text{roc}}+0.2\times {\text{Entropy}}_{\text{roc}}\\ &+0.6\times {\text{Contrast}}_{\text{roc}}-0.1\times {\text{NIQE}}_{\text{roc}}\text{, }\end{split} $ 式中:
$ {\text{roc}} $ (rate of change)表示变化率.从表3可以看出, 本文所提方法对于低偏振度特性玩具的复原效果相较于Treibitz方法, 信噪比降低了11.3%, 但信息熵和对比度分别提升了22.4%和198%, NIQE值降低了18.3%, 复原图像的综合质量提升了123.9%; 而与Zhao方法相比, 对比度降低了10.0%, 但是信噪比和信息熵分别提升了11.7%与40.4%, NIQE值降低24.4%, 复原图像综合质量提升了5.7%. 可以看出, 本文所提出的综合质量评价函数
$ f\left( {{\text{roc}}} \right) $ 能够正确表达复原图像的综合质量提升率, 且给出的数值与主观视觉评价相吻合. 由于Treibitz方法对于金属尺和魔方-硬币图像失效, 不对其数值进行比较. 另外 , 本文所提方法对于具有高偏振度特性的金属尺的复原效果相较于Zhao方法, 对比度降低了69.2%, 但信噪比和信息熵都分别提升了114%与235%, NIQE值降低了4.8%, 复原图像综合质量提升了17.4%. 而本文所提方法对于高低偏振度混合特性魔方-硬币的复原效果相较于Zhao方法, 对比度降低了56.3%, 但信噪比和信息熵都分别提升了177%与202%, NIQE值降低了4.5%, 复原图像综合质量提升了24.8%. 综上所述, 本文方法相较于Zhao方法更能确保复原图像的综合质量.为进一步验证本文方法在无背景区域时的效果, 本文还开展了无背景实验研究. 保持目标物不变, 但在采集图像后截去背景区域, 仅保留目标区域作为输入图像. 图7展示了分别运用数字图像处理方法CLAHE[22]、Zhao方法[14]和本文方法对玩具、金属尺和魔方-硬币的复原效果, 相应的复原图像客观评价指标见表4. 可以发现, 单纯的CLAHE方法对于几种目标物都能一定程度上提升图像清晰度, 但显然Zhao方法和本文方法更能消除图像“雾感”. 其中, 对于低偏振度特性玩具, 有无背景对两种方法的复原效果都影响不大, 但是对于高偏振度特性金属尺, Zhao方法虽在无背景情况下也可得到金属尺复原图像, 但复原图像中出现大量肉眼可见噪声, 并伴有明显的阴影和“过曝”现象, 而本文方法得到的金属尺复原图像则避免了上述问题, 且复原图像的细节更加清晰, 噪声水平也在可接受范围内. 对于无背景的高低偏振度混合特性魔方-硬币, 低偏振度的魔方部分被视为背景, 所以Zhao方法和本文方法与有背景情况下的复原效果基本一致. 结合表5中数据可以发现, Zhao方法仅采用对比度这一单一指标优选偏振反演参数, 有时会使复原图像陷入“明暗分离”状态, 即亮者愈亮, 暗者愈暗, 此时获取的偏振反演参数往往过于接近, 从而引入大量的噪声[20]. 而本文方法虽牺牲了复原图像的对比度, 但平衡了各项图像质量评价指标, 保障了复原图像的综合质量, 能够获得较为稳定的复原效果.
图 7 无背景图像复原结果对比
Figure 7. Comparison of restoration results of images without background.
Image SNR Entropy Contrast NIQE Toy-Intensity 17.101 5.319 0.029 9.006 Toy-CLAHE 13.283 6.214 0.059 10.357 Toy-Zhao 6.314 6.083 0.127 15.829 Toy-Our 5.269 6.914 0.145 16.152 Ruler-Intensity 15.794 6.284 0.062 9.391 Ruler-CLAHE 15.389 6.442 0.067 10.395 Ruler-Zhao 3.424 1.154 0.492 15.277 Ruler-Our 9.889 7.421 0.128 19.501 Cube-coin-Intensity 16.477 5.313 0.023 7.727 Cube-coin-CLAHE 14.139 6.048 0.041 9.149 Cube-coin-Zhao 2.210 1.828 0.438 12.893 Cube-coin-Our 3.477 6.753 0.187 12.269 表 4 无背景复原图像的客观评价结果
Table 4. Objective index evaluation results of restored images without background.
Parameter Toy Ruler Cube-coin Zhao Our Zhao Our Zhao Our Pobj 0.223 0.199 0.328 0.334 0.656 0.687 Pscat 0.271 0.254 0.319 0.265 0.643 0.613 |Pdif| 0.048 0.055 0.009 0.069 0.013 0.074 表 5 无背景复原图像偏振反演参数对比
Table 5. Comparison of polarization inversion parameters of restored images without background.
以表4数据进行计算, 对于低偏振度特性玩具, 本文方法相较于单纯的CLAHE数字图像处理方法, 信噪比降低了60.3%, 但信息熵和对比度分别提升了11.3%和146%, NIQE值升高55.9%, 复原图像综合质量提升了78.3%; 类似地对于高偏振度特性金属尺和混合特性魔方-硬币, 本文方法相较于单纯的CLAHE方法使复原图像综合质量分别提升了51.4%和205%. 而本文方法相较于Zhao方法, 对于低偏振度特性玩具, 对比度和信息熵分别提升了14.2%和13.7%, 信噪比降低了16.5%, NIQE值提升2.0%, 复原图像综合质量提升了9.4%; 类似的, 对于高偏振度特性金属尺和混合特性魔方-硬币, 本文方法相较于Zhao方法使复原图像综合质量分别提升了80.4%和25.6%. 综合主观视觉及复原图像综合质量提升率可发现, 无论目标物偏振度高低, 无论是否有背景区域, 本文方法都能够有效提升复原图像的综合质量, 且复原效果更加稳定.
-
本文以Zhao等[14]偏振成像方法为基础, 考虑到单一评价指标在水下偏振成像反演过程中的限制, 提出一种基于双层多指标优化的水下偏振成像方法. 引入3种指标, 通过第1层指标获取偏振反演参数最优解集; 通过第2层指标在最优解集中遍寻最优解; 最后, 根据偏振反演参数差值, 在水下偏振成像技术后端结合数字图像处理手段, 进一步提升复原图像质量. 由对比度、信息熵、信噪比和NIQE值等客观评价指标变化率构建了图像综合质量提升率函数, 通过水箱实验对偏振特性不同的目标物进行实验验证. 结合主观视觉评价以及图像综合质量提升率函数发现, 无论图像是否存在背景区域, 无论目标物是低偏振度特性还是高偏振度特性, 本文方法的复原效果都更加稳定, 且获得的复原图像综合质量均优于Zhao方法. 本文方法将成像问题转化为多目标双变量优化求解问题, 避免了人机交互, 确保了图像综合质量, 具有更广阔的应用范围和更好的复原效果. 另外, 针对只能应对单一偏振特性目标的问题, 未来也将继续探究如何保证复杂偏振特性目标的整体复原效果.
-
无先验水下主动偏振成像方法能够实现目标信息光偏振度和后向散射光偏振度的自动获取, 但该方法在反演过程中仅追寻高对比度这一单一指标, 有时会导致自动获取的两项偏振反演参数过于相近, 使图像复原效果不理想, 且常伴有大量噪声. 针对上述仅追求单一指标导致复原图像质量不理想的问题, 本文提出一种基于双层多指标优化的水下偏振成像方法. 首先, 第1层以互信息和对比度为目标函数, 基于多目标遗传优化算法自动获取偏振参数最优解集; 其次, 选择信息熵为第2层目标函数, 遍历最优解集, 获取偏振参数最终解, 并将其代入成像模型, 获取复原图像; 最终, 根据所获偏振参数之差, 选取适当数字图像处理手段进一步提升复原图像质量. 实验结果表明, 无论背景区域存在与否, 无论目标物偏振度高低, 本方法均能有效增强图像细节, 平衡各项图像质量评价指标, 得到综合质量较高的复原图像.
Underwater imaging is of great significance in exploring seabed resource , monitoring marine environment, implementing underwater rescue and military reconnaissance, etc. by providing clear vison. Among various underwater imaging techniques, the polarization imaging is considered to be an effective way to improve the quality of underwater imaging. It can realize underwater image restoration by using the difference in polarization characteristic between the target light and backscattered light. A classical underwater active polarization imaging method was presented by Treibitz [Treibitz T, Schechner Y Y 2009 IEEE Trans. Pattern Anal. Mach. Intell. 31 385 ], in which the degrees of linear polarization (DoLPs) of target light and backscattered light are used to recover clear image. A variety of improved methods have been derived from this, but most of them require background areas and human-computer interaction. Then, a new underwater active polarization imaging method without prior knowledge was presented by Zhao [Zhao Y, He W, Ren H, Li Y, Fu Y2022 Opt. Lasers Eng. 148 106777 ], in which the DoLPs of target light and backscattered light can be automatically obtained without background region. However, sometimes the above two parameters are very close and thus introduce a lot of noise into the restored images, for this method takes only the contrast into account.In this work, an underwater active polarization imaging method based on two-layer multi-index optimization is proposed. First, the mutual information and contrast are taken as the upper objective functions, and the Pareto optimal solution set is obtained by the multi-objective genetic optimization algorithm. Second, the information entropy is taken as the lower objective function to obtain the optimal parameters from this optimal solution set. Based on the optimal parameters, the restored images are obtained. According to the difference between the DoLPs of target light and backscattered light, these restored images are further improved by the digital image processing method. The experimental results indicate that our method can not only enhance image details effectively but also balance various evaluation indexes of the imaging quality to obtain high-quality restored images. The proposed algorithm is suitable for underwater targets with low and high DoLPs, with or without background regions. -
Keywords:
- underwater imaging /
- polarization /
- scattering /
- two-layer multi-index optimization
[1] Komatsu S, Markman A, Javidi B 2018 Opt. Lett. 43 3261
Google Scholar
[2] Panetta K, Gao C, Agaian S 2015 IEEE J. Ocean. Eng. 41 541
Google Scholar
[3] Gao S B, Zhang M, Zhao Q, Zhang X S, Li Y J 2019 IEEE Trans. Image Process. 28 5580
Google Scholar
[4] Bailey G N, Flemming N C 2008 Quat. Sci. Rev. 27 2153
Google Scholar
[5] 刘飞, 孙少杰, 韩平丽, 赵琳, 邵晓鹏 2021 物理学报 70 164201
Google Scholar
Liu F, Sun S J, Han P L, Zhao L, Shao X P 2021 Acta Phys. Sin. 70 164201
Google Scholar
[6] Schechner Y Y, Karpel N 2004 Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Washington DC, USA Jun. 27–July 2, 2004 p536
[7] Li N, Zhao Y, Pan Q, Kong S 2018 Opt. Express 26 16488
Google Scholar
[8] Schechner Y Y, Karpel N 2005 IEEE J. Ocean. Eng. 30 570
Google Scholar
[9] Schechner Y Y, Narasimhan S G, Nayar S K 2003 Appl. Opt. 42 511
Google Scholar
[10] Jaffe J S 1990 IEEE J. Ocean. Eng. 15 101
Google Scholar
[11] Treibitz T, Schechner Y Y 2009 IEEE Trans. Pattern Anal. Mach. Intell. 31 385
Google Scholar
[12] Li X, Hu H, Zhao L, Wang H, Yu Y, Wu L, Liu T 2018 Sci. Rep. 8 12430
Google Scholar
[13] 封斐, 吴国俊, 吴亚风, 苗宇宏, 刘博 2020 光学学报 40 2111002
Google Scholar
Feng F, Wu G J, Wu Y F, Miao Y H, Liu B 2020 Acta Optica Sin. 40 2111002
Google Scholar
[14] Zhao Y, He W, Ren H, Li Y, Fu Y 2022 Opt. Lasers Eng. 148 106777
Google Scholar
[15] Yang L, Liang J, Zhang W, Ju H, Ren L, Shao X 2019 Opt. Commun. 438 96
Google Scholar
[16] Rowe M P, Pugh E N, Tyo J S, Engheta N 1995 Opt. Lett. 20 608
Google Scholar
[17] 管今哥, 朱京平, 田恒, 侯洵 2015 物理学报 64 224203
Google Scholar
Guan J G, Zhu J P, Tian H, Hou X 2015 Acta Phys. Sin. 64 224203
Google Scholar
[18] Liu F, Han P, Wei Y, Yang K, Huang S, Li X, Zhang G, Bai L, Shao X 2018 Opt. Lett. 43 4903
Google Scholar
[19] Holland J H 1992 Sci. Am. 267 66
Google Scholar
[20] Deb K, Pratap A, Agarwal S, Meyarivan T 2002 IEEE Trans. Evolut. Comput. 6 182
Google Scholar
[21] Sardy S, Tseng P, Bruce A. 2001 IEEE Trans. Signal Process. 49 1146
Google Scholar
[22] Reza A 2004 VLSI Signal Process. 38 35
Google Scholar
[23] Mittal A, Soundararajan R, Bovik A C 2012 IEEE Signal Process. Lett. 20 209
Google Scholar
-
图 2 双层多指标优化算法流程图
Fig. 2. Flow chart of the two-layer multi-index optimization algorithm.
图 3 水下偏振成像实验装置示意图
Fig. 3. Schematic of experimental setup for underwater polarization imaging.
图 4 最优解集中不同解值的复原结果对比 (a1)—(d1) 不同解值的目标信息光图像; (a2)—(d2) 不同解值的后向散射光图像
Fig. 4. Comparison of restoration results with different solution values: (a1)–(d1) Images of target signal light; (a2)–(d2) images of backscattered light.
图 6 图5划线处光强值分布曲线图 (a) 玩具图像划线处; (b) 金属尺图像划线处
Fig. 6. Intensity distribution at the scribe lines of Fig. 5: (a) Scribe line of toy; (b) scribe line of metal ruler.
图 7 无背景图像复原结果对比
Fig. 7. Comparison of restoration results of images without background.
表 1 不同解值复原图像的客观指标评价结果
Table 1. Objective index evaluation results of restored images with different solution values.
Index (a) (b) (c) (d) MI(B, S) 2.529 2.969 2.062 3.093 C(S) 0.203 0.279 0.067 0.306 Entropy(S) 4.834 4.695 4.455 4.953 
下载: 导出CSV
表 2 含背景图像偏振反演参数对比
Table 2. Comparison of polarization inversion parameters of restored images with background.
Parameter Toy Ruler Cube-coin Treibitz Zhao Our Treibitz Zhao Our Treibitz Zhao Our Pobj 0.190 0.249 0.248 1 0.503 0.501 1 0.668 0.649 Pscat 0.291 0.271 0.272 0.479 0.495 0.445 0.659 0.651 0.586 |Pdif| 0.101 0.022 0.024 0.521 0.008 0.056 0.341 0.017 0.063
下载: 导出CSV
表 3 含背景复原图像的客观评价结果
Table 3. Objective index evaluation results of restored images with background.
Image SNR Entropy Contrast NIQE Toy-Intensity 15.607 5.373 0.033 9.208 Toy-Treibitz 4.120 5.949 0.096 11.008 Toy-Zhao 3.269 5.183 0.319 11.889 Toy-Our 3.653 7.279 0.287 8.989 Ruler-Intensity 24.047 3.826 0.011 10.126 Ruler-Treibitz 3.368 3.059 0.008 8.337 Ruler-Zhao 2.954 2.079 0.448 15.465 Ruler-Our 6.318 6.971 0.138 14.719 Cube-coin-Intensity 17.751 4.951 0.018 7.982 Cube-coin-Treibitz 1.281 3.294 0.014 7.046 Cube-coin-Zhao 2.535 2.532 0.407 12.732 Cube-coin-Our 7.028 7.635 0.178 12.154
下载: 导出CSV
表 4 无背景复原图像的客观评价结果
Table 4. Objective index evaluation results of restored images without background.
Image SNR Entropy Contrast NIQE Toy-Intensity 17.101 5.319 0.029 9.006 Toy-CLAHE 13.283 6.214 0.059 10.357 Toy-Zhao 6.314 6.083 0.127 15.829 Toy-Our 5.269 6.914 0.145 16.152 Ruler-Intensity 15.794 6.284 0.062 9.391 Ruler-CLAHE 15.389 6.442 0.067 10.395 Ruler-Zhao 3.424 1.154 0.492 15.277 Ruler-Our 9.889 7.421 0.128 19.501 Cube-coin-Intensity 16.477 5.313 0.023 7.727 Cube-coin-CLAHE 14.139 6.048 0.041 9.149 Cube-coin-Zhao 2.210 1.828 0.438 12.893 Cube-coin-Our 3.477 6.753 0.187 12.269
下载: 导出CSV
表 5 无背景复原图像偏振反演参数对比
Table 5. Comparison of polarization inversion parameters of restored images without background.
Parameter Toy Ruler Cube-coin Zhao Our Zhao Our Zhao Our Pobj 0.223 0.199 0.328 0.334 0.656 0.687 Pscat 0.271 0.254 0.319 0.265 0.643 0.613 |Pdif| 0.048 0.055 0.009 0.069 0.013 0.074
下载: 导出CSV
-
[1] Komatsu S, Markman A, Javidi B 2018 Opt. Lett. 43 3261
Google Scholar
[2] Panetta K, Gao C, Agaian S 2015 IEEE J. Ocean. Eng. 41 541
Google Scholar
[3] Gao S B, Zhang M, Zhao Q, Zhang X S, Li Y J 2019 IEEE Trans. Image Process. 28 5580
Google Scholar
[4] Bailey G N, Flemming N C 2008 Quat. Sci. Rev. 27 2153
Google Scholar
[5] 刘飞, 孙少杰, 韩平丽, 赵琳, 邵晓鹏 2021 物理学报 70 164201
Google Scholar
Liu F, Sun S J, Han P L, Zhao L, Shao X P 2021 Acta Phys. Sin. 70 164201
Google Scholar
[6] Schechner Y Y, Karpel N 2004 Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Washington DC, USA Jun. 27–July 2, 2004 p536
[7] Li N, Zhao Y, Pan Q, Kong S 2018 Opt. Express 26 16488
Google Scholar
[8] Schechner Y Y, Karpel N 2005 IEEE J. Ocean. Eng. 30 570
Google Scholar
[9] Schechner Y Y, Narasimhan S G, Nayar S K 2003 Appl. Opt. 42 511
Google Scholar
[10] Jaffe J S 1990 IEEE J. Ocean. Eng. 15 101
Google Scholar
[11] Treibitz T, Schechner Y Y 2009 IEEE Trans. Pattern Anal. Mach. Intell. 31 385
Google Scholar
[12] Li X, Hu H, Zhao L, Wang H, Yu Y, Wu L, Liu T 2018 Sci. Rep. 8 12430
Google Scholar
[13] 封斐, 吴国俊, 吴亚风, 苗宇宏, 刘博 2020 光学学报 40 2111002
Google Scholar
Feng F, Wu G J, Wu Y F, Miao Y H, Liu B 2020 Acta Optica Sin. 40 2111002
Google Scholar
[14] Zhao Y, He W, Ren H, Li Y, Fu Y 2022 Opt. Lasers Eng. 148 106777
Google Scholar
[15] Yang L, Liang J, Zhang W, Ju H, Ren L, Shao X 2019 Opt. Commun. 438 96
Google Scholar
[16] Rowe M P, Pugh E N, Tyo J S, Engheta N 1995 Opt. Lett. 20 608
Google Scholar
[17] 管今哥, 朱京平, 田恒, 侯洵 2015 物理学报 64 224203
Google Scholar
Guan J G, Zhu J P, Tian H, Hou X 2015 Acta Phys. Sin. 64 224203
Google Scholar
[18] Liu F, Han P, Wei Y, Yang K, Huang S, Li X, Zhang G, Bai L, Shao X 2018 Opt. Lett. 43 4903
Google Scholar
[19] Holland J H 1992 Sci. Am. 267 66
Google Scholar
[20] Deb K, Pratap A, Agarwal S, Meyarivan T 2002 IEEE Trans. Evolut. Comput. 6 182
Google Scholar
[21] Sardy S, Tseng P, Bruce A. 2001 IEEE Trans. Signal Process. 49 1146
Google Scholar
[22] Reza A 2004 VLSI Signal Process. 38 35
Google Scholar
[23] Mittal A, Soundararajan R, Bovik A C 2012 IEEE Signal Process. Lett. 20 209
Google Scholar
计量
- 文章访问数: 637
- PDF下载量: 33
- 被引次数: 0
