-
由于流场中的微粒分布状态能够充分表征场的特性, 因此通过稀疏采样实现快速和高质量的粒子场成像始终是实验流体力学等领域高度期盼的. 近年来, 随着深度学习应用于粒子计算层析成像, 如何提高神经网络的处理效率和质量, 以消除稀疏采样所致的粒子层析图像伪影噪声仍然是一个挑战性课题. 为解决这一问题, 本文提出了一种新的抑制粒子场层析成像伪影噪声和提高网络效率的神经网络方法. 该方法在设计上包含了轻量化双残差下采样图像压缩和特征识别提取、快速特征收敛的上采样图像恢复, 以及基于经典计算层析成像算法的优化信噪比网络输入样本集构建. 对整个成像系统的模拟分析和实验测试表明, 相比于经典的U-net和Resnet50网络方法, 本文提出的方法不仅在输出/输入的粒子图像信噪比、重建像的残余伪影噪声(即鬼粒子占比)和有效粒子损失比方面获得了极大的改进, 而且也显著提高了网络的训练效率. 这对发展基于稀疏采样的快速和高质量粒子场计算层析成像提供了一个新的有效方法.
The realization of fast and high-quality three-dimensional particle-field image characterization is always highly desired in the areas, such as experimental fluid mechanics and biomedicine, for the micro-particle distribution status in a flow-field can characterize the field properties well. In the particle-field image reconstruction and characterization, a wildly used approach at present is the computed tomography. The great advantage of the computed tomography for particle-field image reconstruction lies in the fact that the full particle spatial distribution can be obtained and presented due to multi-angle sampling. Recently, with the development and application of deep learning technique in computed tomography, the image quality has been greatly improved by the powerful learning ability of a deep learning network. In addition, the deep learning application also makes it possible to speed up the computed tomographic imaging process from sparse-sampling due to the ability of the network to strongly extract image feature. However, sparse-sampling will lead to insufficient acquirement of the object information during sampling for the computed tomography. Therefore, a sort of artifact noise will emerge and be accompanied with the reconstructed images, and thus severely affecting the image quality. As there is no universal network approach that can be applied to all types of objects in the suppression of artifact noise, it is still a challenge in removing the sparse-sampling-induced artifact noise in the computed tomography now. Therefore, we propose and develop a specific lightweight residual and enhanced convergence neural network (LREC-net) approach for suppressing the artifact noise in the particle-field computed tomography. In this method, the network input dataset is also optimized in signal-to-noise ratio (SNR) in order to reduce the input noise and ensure the effective particle image feature extraction of the network in the imaging process. In the design of LREC-net architecture, a five-layer lightweight and dual-residual down-sampling is constructed on the basis of typical U-net and Resnet50, making the LREC-net more suitable for the particle-field image reconstruction. Moreover, a fast feature convergence module for rapid particle-field feature acquirement is added to up-sampling process of the network to further promote the network processing efficiency. Apart from the design of LREC-net network itself, the optimization of network input dataset in SNR of images is achieved by finding a fit image reconstruction algorithm that can produce higher-SNR particle images in the computed tomography. This achievement reduces the input noise as much as possible and ensures effective particle-field feature extraction by the network. The simulation analysis and experimental test demonstrate the effectiveness of the proposed LREC-net method, which involves the evaluations of SNR changes of the input-output images through the network, the proportion of residual artifact noise as ghost-particles (GPP) in the reconstructed images, and the valid-particle loss proportion (PLP). In contrast to the performances of U-net and Resnet50 under the same imaging conditions, all the data in SNR, GPP and PLP show the great improvement of the image quality due to the application of LREC-net method. Meanwhile, the designed LREC-net method also enhances the network running efficiency to a large extent due to the remarkable reduction of training time. Therefore, this work provides a new and effective approach for developing sparse-sampling-based fast and high-quality particle-field computed tomography. -
Keywords:
- particle field imaging /
- computed tomography /
- deep learning /
- noise suppression
1. 引 言
由于通过测量流体中的微粒时空分布形态及其变化可以表征流场的很多重要特性, 因此基于粒子场测量的三维图像分析表征已广泛应用于生物医学、实验流体力学等领域[1–6], 而在粒子场的三维成像和表征技术方面的常用方法之一是光学计算层析成像(computed tomography, CT)技术[7–12]. 该方法用于粒子场测量表征的最大优点在于可通过对粒子场的多角度投影采样, 获得任一层析切片平面上的粒子分布, 在此基础上, 通过将不同层析切片粒子图像叠加组合, 重构出粒子场的三维空间体分布. 近年来, 随着深度学习技术的发展, 神经网络方法已被用于粒子计算层析成像, 利用深度学习网络强大的学习能力可提高物体的图像重建质量[13–16]. 由于神经网络具有强的图像特征提取能力, 在对物体投影欠采样即稀疏采样条件下仍能实现有效的层析图像重建, 因此通过减少采样可实现快速的粒子计算层析成像. 这一领域的主要方法可分为两类: 一类是层析滤波反投影(filtered back-projection, FBP)重建与卷积神经网络(convolutional neural network, CNN)的结合, 其中FBP重建的目标图像被用于网络输入[17–19]. 另一类是迭代重建和卷积神经网络的结合[20–22]. 后者的优点是可以使用更少的采样完成层析图像重建. 然而, 目前迭代算法在技术上仍存在一些较难克服的困难, 例如重建速度慢、存在鬼粒子和粒子变形等问题. 特别是迭代算法需要充分的先验知识或经验来确定算法中的一些关键参数. 因此, 计算的收敛速度和图像重建质量在很大程度上取决于先验知识或经验的准确性, 而这些通常只能通过人工调试来确定.
在利用CNN网络进行图像去噪方面, 由于卷积运算本身具有噪声抑制作用, 因此网络的噪声抑制能力很大程度上取决于卷积层结构的设计. 在结合深度学习的计算层析成像方面, 可以用于去除层析图像重建过程中, 由于稀疏采样导致的目标信息不足而形成的伪影噪声[23,24]. 其网络架构主要基于CNN, U-net或残差网络. 为了在计算层析成像中抑制严重的伪影噪声并获得高质量的重建图像, 这些深度学习方法需要较为复杂的卷积处理过程, 以在欠采样的条件下仍能充分获取目标特征信息, 甚至使用多网络的结合以达到有效抑制噪声的目的[25,26]. 这种网络结构会导致计算效率降低和训练时间延长. 由于目前还没有一种通用的网络方法能够满足所有不同特性和不同复杂程度物体的成像需求, 因此通常需要针对成像目标属性设计适用的专用网络方法, 以达到最佳的成像效果. 与复杂的连续性物体不同, 粒子场具有离散化的特殊属性, 因此为消除粒子场计算层析成像中的伪影噪声以获得高质量的重建粒子图像, 需要建立一种适用于粒子场CT成像而结构又不冗余的深度学习网络.
在基于计算层析成像构建三维图像方面, 目前主要有两种实现方法: 一种是传统方法, 即使用平行或扇形光束照明, 通过多角度采样完成层析切片图像的重建和叠加[27,28]. 与平行光束照明方法相比, 使用扇形光束照明的切片图像重建可以从照明方式中获得更多的目标局部信息. 然而, 该方法会导致采样中冗余投影数据的产生, 需要对冗余数据进行额外的加权处理, 否则整个图像的分辨率将是不均匀的[29,30]. 另一种是利用锥形束直接采样物体的二维投影, 利用相关算法重建三维图像[31–33]. 这种方法仍然存在类似的采样冗余问题, 而且照明光束的视场角必须足够小, 以减小图像重建中的误差[34,35].
本文的主要研究目标是提升基于计算层析成像方法的粒子场测量表征中的图像质量. 在基于计算层析成像的流场测量方面, 为实现实时的快速成像, 需要尽可能减少采样数量以简化成像系统, 但采样数量的减少, 即使用稀疏采样会在重建算法中造成严重的伪影噪声, 而采样数量越少, 粒子场的信息缺失越多, 伪影噪声也就越严重, 这是由重建算法所决定的. 因此, 本文利用深度学习图像处理方法以解决因欠采样导致的重建图像伪影噪声问题, 可用于粒子场的计算层析成像. 该方法设计了一种复合型轻量残差下采样和增强收敛的网络结构, 在抑噪的同时提高网络的训练效率, 以更有效地获取粒子场的图像特征信息. 此外, 在网络处理的设计上, 通过构建高信噪比的输入图像样本集, 以抑制输入网络的噪声, 增强网络对粒子场特征的捕获和信息获取.
2. 轻量残差复合增强收敛深度学习抑噪网络(LREC-net)设计
轻量残差复合增强收敛(lightweight residual and enhanced convergence, LREC)抑噪网络的设计架构如图1所示, 输入图像(左端)使用经典CT方法重建的粒子场切片图像, 图像中的不规则线条是由于稀疏采样所致的伪影噪声. 输出图像(右端)是通过网络处理后得到的粒子场切片图像, Conv表示卷积, ReLU是整流线性单元[36], BN是批量归一化处理, 可用于加速网络训练[37].
在LREC-net的网络设计中, 基于U-net和Resnet50的基本设计思想和构成[38,39], 考虑离散粒子分布不同于连续性物体的特性, 在网络的下采样部分对图像压缩和目标特征信息的提取进行了改进设计, 提出了5层轻量化双残差下采样结构(图1中的红色Res_block2和橙色的Res_block1), 在保证网络深度以有效提取粒子空间分布的特征信息的同时, 采用轻量化的残差结构可以防止网络模型在训练过程中的退化, 其中短连接的设计可使网络训练结果更加稳定, 2个1×1的卷积可使网络轻量化, 从而有利于缩短网络训练时间. 在双残差的设计中, 红色残差块(Res_block2)用于调整特征通道数, 抑制噪声并在压缩输入图像的过程中提取粒子空间分布特征信息, 而橙色残差块(Res_block1)则用于进一步提取粒子场特征的细节, 并保留红色残差块获取的粒子场特征信息. 不同于Resnet50残差网络的设计, LREC-net使用了2个而非更多的残差块(更深的下采样)主要基于粒子场的特性. 通过分析和测试发现, 基于双残差的下采样已经能够在图像压缩过程中充分获取粒子场的图像特征信息, 进一步或更深的下采样结构并不能取得更好的结果, 只会增加时耗, 造成网络结构冗余. 在LREC-net的上采样部分, 设计了4层普通的上采样结构和一个增强的特征收敛模块. 在普通的上采样结构中包含1个2×2上采样过程(Upsampling)、1个来自下采样的跳跃连接(skip connection)和2个3×3卷积(Conv). 由于跳跃连接允许图像特征信息从下采样部分直接传输到上采样部分, 因此它不仅可有效保存目标信息, 而且增大了重构细节的图像特征利用率. 增强特征收敛模块由1个上采样过程和4个特征通道数连续下降的卷积构成, 这样的设计能够更详细地将粒子特征恢复到输出图像中, 同时进一步提高网络训练效率.
为检验LREC-net的轻量化双残差下采样设计对提高网络训练效率的有效性, 通过对照U-net和Resnet50的下采样过程, 对使用的网络训练(下采样)参数数量进行了比较分析, 其中输入图像大小为256×256×1. 3种网络的下采样结构及其训练参数数量如表1所示. 其中, U-net不存在轻量化设计, Resnet50具有更多(更深)但不同于LREC-net的轻量化下采样结构.
层数 LREC-net U-net Resnet50 1 Res_block2, stride = 2 3×3 Conv 7×7 Conv, stride = 2 Res_block1, stride = 1 3×3 Conv 2×2 Maxpool 2 Res_block2, stride = 2 3×3 Conv 3×3 Maxpool Res_block1, stride = 1 3×3 Conv Res_block2, stride = 1 2×2 Maxpool Res_block1, stride = 1 Res_block1, stride = 1 3 Res_block2, stride = 2 3×3 Conv Res_block2, stride = 2 Res_block1, stride = 1 3×3 Conv Res_block1, stride = 1 2×2 Maxpool Res_block1, stride = 1 Res_block1, stride = 1 4 Res_block2, stride = 2 3×3 Conv Res_block2, stride = 2 Res_block1, stride = 1 3×3 Conv Res_block1, stride = 1 2×2 Maxpool Res_block1, stride = 1 Res_block1, stride = 1 Res_block1, stride = 1 Res_block1, stride = 1 5 Res_block2, stride = 2 3×3 Conv Res_block2, stride = 2 Res_block1, stride = 1 3×3 Conv Res_block1, stride = 1 Res_block1, stride = 1 训练参数数量 3, 529, 040 18, 842, 048 23, 581, 440 轻量化单元数 10 0 16 表1结果清楚地显示, 与其他2个网络相比, LREC-net的训练参数数量得到显著减少. 这表明LREC-net可以更快地捕捉到粒子空间分布特征, 并在更短的时间内完成网络训练. 这归因于针对粒子场特性的轻量化双残差下采样设计. 对于U-net和采用更深层残差下采样的Resnet50或许更加适用于复杂连续性物体的图像处理.
3. LREC-net高信噪比(SNR)输入样本集的设计
由于网络的输入样本集由CT重建像构成, 因此为减少可能的网络输入噪声对粒子图像特征识别的影响, 增强网络在粒子特征信息获取上的有效性, 研究了广泛使用的直接反投影(direct back-projection, DBP)和FBP重建粒子图像的信噪比. 其中, 基于拉东变换(radon transform)的反投影CT成像方法的基本原理如图2所示.
首先用一束平面光照射目标场f(x, y)以采集投影图像p(s, θ), 如图2(a)所示, 计算表达式为(1)式. 将采集得到的投影图像沿投影角度顺序排列, 即可生成图2(b)所示的正弦图. 然后利用DBP或FBP重建目标场, 如图2(c)所示, 可通过(2)式和(3)式计算获得[34].
$$ \begin{split}p\left( {s,\theta } \right) =\;& \int_{ - \infty }^\infty \int_{ - \infty }^\infty f\left( {x,y} \right)\delta ( x\cos \theta\\ &+ y\sin \theta - s ){\text{d}}x{\text{d}}y ,\end{split} $$ (1) $$ {f_{{\text{DBP}}}}\left( {x,y} \right) = \int_0^{\text{π }} {p\left( {s,\theta } \right)\left| {_{s = x\cos \theta + y\sin \theta }{\text{d}}\theta } \right.} , $$ (2) $$ \begin{split}{f_{{\text{FBP}}}}\left( {x,y} \right) =\;& \int_0^{\text{π }} {F^{ - 1}}\{ F\left[ {p\left( {s,\theta } \right)\left| {_{s = x\cos \theta + y\sin \theta }} \right.} \right]\\ &\times H\left( \omega \right) \} {\text{d}}\theta ,\end{split} $$ (3) 式中, p(s, θ)是基于s-θ坐标的目标投影像函数, δ是狄拉克函数, fDBP(x, y)和fFBP(x, y)分别表示DBP和FBP的重建像函数. F和F–1表示傅里叶变换及其逆变换. H(ω)是FBP算法中的频域滤波函数, 本文使用经典的Ram-Lak滤波函数[40].
基于DBP和FBP算法获得的粒子重建像如图3所示. 其中, 每一图组中的左图是随机产生的模拟原始样本, 中间图是使用不同数量的投影进行DBP重建计算的结果, 右图是使用同等数量投影进行FBP重建计算的结果, 所有的样本投影在0°—180°范围内以等角度间隔获得. 同时, 计算了这些重建图像的信噪比(signal to noise ratio, SNR). 结果清楚地表明, 基于DBP算法的粒子重建像比FBP算法获得的粒子重建像显然具有更高的SNR值. 因此, 使用DBP算法的CT重建像作为LREC-net的输入样本.
在LREC-net的网络训练方面, 建立了3组输入-输出模拟样本集. 其中, 每个输出样本集由1200个随机生成的模拟粒子场切片图像组成, 这些样本被用作为原始样本. 通过模拟仿真方式, 以多角度采集(记录)原始样本的投影图, 并通过DBP层析重建算法获得重建图像, 以此建立对应的网络输入样本集, 如图3所示. 投影图的采集在0°—180°范围内, 以等角间距分别取5, 10和15个角度的样本投影并用于CT图像重建计算. 在每组1200对输入-输出样本图像集中, 800对样本图像用于网络训练, 200对样本图像用于网络验证, 其余用于网络测试. 所有图像具有相同的256×256像素. 每个图像随机包含0—40个微粒子, 其尺寸在1—9个像素之间. 网络使用Adam优化器[41]更新网络参数, 采用均方误差(mean square error, MSE)作为网络训练的损失函数, 以利于网络参数计算的快速收敛, 其定义如下[42]:
$$ {\text{Los}}{{\text{s}}_{{\text{MSE}}}} = \frac{1}{m}\sum\limits_{i = 1}^m {{{\left[ {{y_i} - {\text{Net}}({x_i})} \right]}^2}} , $$ (4) 其中, yi和Net(xi)分别表示第i个样本的真实值和网络预测值, m表示样本数. LREC-net的计算基于Matlab R2019a, TensorFlow 1.13.1和Keras 2.1.3.整个系统在工作站上运行, 包括1个Intel Xeon E5-2620v4CPU和1个NVIDIA Tesla K80GPU.
4. 模拟结果和分析
三维粒子场的重构和分析包括5个过程, 如图4所示. 第1步, 随机生成的粒子图像作为原始样本; 第2步, 利用Radon变换原理以0°—180°的等角间距模拟采样过程, 获取样本的投影像数据; 第3步, 利用DBP层析图像重建算法和投影数据重建粒子切片图像; 第4步, 将重建的粒子图像作为网络输入图像, 用于去除伪影噪声和进一步的图像处理; 第5步, 将网络输出图像叠加以获得三维粒子场图像.
以3组随机生成的模拟粒子切片图像作为原始样本, 依据以上步骤, 对经过层析计算和网络处理的粒子图像叠加后重构的三维粒子分布图进行了分析. 其中, 每组包含6个样本, 分别使用5, 10, 15个样本投影像(稀疏采样)做粒子场的层析图像重建, 如图5所示. 在图5每组图像中, 第1行显示随机生成的模拟粒子切片图像作为原始样本, 编号为①—⑥. 第2行显示DBP层析算法重建的粒子图像作为网络输入数据, 每组图像的重建分别使用5, 10和15个样本的投影像. 由图5可见, 尽管由于稀疏采样引起重建像存在强的伪影噪声, 但依稀仍然可以分辨出粒子的空间分布特征. 图5中每组图像的第3行显示了经LREC-net处理后的输出图像. 从这些图像可以清楚地看到, 通过LREC-net的处理, 图像背景已经非常干净, 即输入图像中的伪影噪声已获得有效的滤除, 通过LREC-net重建的图像质量获得了明显的提高.
将图5中的每组LREC-net输出图像叠加, 便可以获得三维粒子场空间分布图. 其中, 每个切片图像的厚度和它们的间隔分别是4个像素和100个像素. 结果显示在图6中. 由于LREC-net是基于U-net和Resnet50的改进, 因此作为改进前后的比较, 在训练样本集和层析重建算法等条件相同情况下, 同时计算了U-net和Resnet50处理的三维粒子场重建像. 其结果一并在图6中展示.
考虑离散的灰度跳变粒子场特性很难用峰值信噪比(peak signal-to-noise ratio, PSNR)和结构相似度(structural similarity, SSIM)进行图像质量的评估. 在评估三维粒子场图像的伪影噪声抑制和重建图像质量方面, 使用了两个针对性的指标作为检验标准. 一个是图像中存在的鬼粒子比例(ghost-particle proportion, GPP), 定义为重建图像中出现的伪粒子(噪点)数与原始粒子数的比例. 鬼粒子可以认为是图像处理后的残余噪声. 另一个是粒子丢失比例(particle loss proportion, PLP), 它定义为重建图像中缺失的有效粒子数与原始粒子数的比例. 两个指标分别由下式表示:
$$ {\text{PLP}} = \frac{{\left| {{N_{{\text{ori}}}} - {N_{{\text{rec}}}}} \right|}}{{{N_{{\text{ori}}}}}} \times 100{\text{%}} , $$ (5) $$ {\text{GPP}} = \frac{{{N_{{\text{gp}}}}}}{{{N_{{\text{ori}}}}}} \times 100{\text{%}}, $$ (6) 其中, Nrec和Nori分别表示重构的粒子和原始粒子的数量, Ngp是鬼粒子的数量. 显然, GPP和PLP越小, 粒子空间分布的重建图像质量越好. 通过比较三维粒子场的重建图像和原始样本, 对图6中经LREC-net, U-net和Resnet50处理的三维粒子场重建图像, 分别标出了缺失的粒子(红色)和鬼粒子(蓝色). 并使用PLP和GPP量化地评估重建的三维粒子场图像.
为了更加清楚直观地对比3种网络方法的重建图像质量, 说明样本投影数与重建图像质量的关系, 这里使用5, 10, 15, 30和60个投影图像进行粒子场层析重建, 并分别计算其重建结果的PLP和GPP绘制成图7的数据曲线. 图7清楚地显示, 与经典的U-net和Resnet50神经网络处理结果比较, LREC-net处理后的图像PLP和GPP都明显减小. 在CT的稀疏采样方面, 使用的投影样本数越多, 粒子场的信息越丰富, 3种方法的重建图像质量都会越好, 当使用的样本投影数增加至30和60时, 3种网络方法的重建结果几乎没有差别, 因此在图6中未展示投影数30及以上的图像重建结果. 如果进一步减少使用样本的投影图像, 基于上述3种网络方法处理后的三维粒子场重建图像的PLP和GPP值差异将进一步增大. 显然, LREC-net在稀疏采样条件下, 对粒子场CT图像的伪影噪声抑制和实现高质量的三维重建像方面具有更好的鲁棒性.
除了对LREC-net在粒子场CT成像的伪影噪声抑制和重建图像质量方面的效果分析外, 还比较了LREC-net, U-net和Resnet50在粒子场CT成像中的网络训练效率. 所有样本均为随机生成的模拟粒子场图像, 如第3节所述. 经过100轮计算的测试结果如图8所示. 这一结果表明, 在同等运行条件下, LREC-net比U-net和Resnet50的训练时间能够明显减少约50%. 由于U-net和Resnet50需要更多的时间和参数进行粒子场的CT成像训练, 这可能会因为网络过度训练增加粒子场特征提取的误差, 因此U-net和Resnet50可能更适于复杂连续性物体的图像处理.
5. 实验测试和讨论
实验成像系统相对简单, 主要由光源、样品和相机组成, 与图9中的实验原理图基本相同. 粒子场的实验样本由非透明的微粒组成, 粒子形状非规则, 粒径约100 μm, 这些粒子被注入到一种透明介质中, 形成相对稳定的随机分布粒子场. 一束由白光LED产生的非相干光照明粒子场. 从模拟分析的结论中可得, 使用更多的投影样本显然会得到更好的图像质量, 因此在实验中需要考虑的是样本投影稀疏采样的优化, 使用尽可能少的样本投影获得尽可能高的重建图像质量. 基于所提出的图像重建方法, 使用至少10个投影图像仍能有效抑制伪影噪声并获得良好的图像质量, 而进一步减少使用的投影数, 伪影噪声将不能被完全抑制, 以致重建图像中出现大量的丢失粒子和鬼粒子. 因此在实验验证环节选用了10个样本投影, 这10个粒子投影图像通过CCD相机在0°—180°范围内以等角间距采集. 将记录的粒子图像采用SNR较高的DBP层析重建算法用于CT图像重建计算, 随后输入神经网络以消除CT重建图像中严重的伪影噪声, 最终重建得到的三维粒子场分布如图10(a)—(c)所示. 其中, 分别使用LREC-net, U-net和Resnet50对实验样本的CT重建像进行了抑噪处理, 网络训练仍然使用上述的模拟粒子场样本集以及训练条件. 采用10个投影图像时, LREC-net的网络训练时间为92 min, 而使用训练好的网络重建真实三维粒子场(图10(a))的计算时长约为2.6 min. 实验样本的切片图像厚度和数量分别为1个像素和120个像素.
由于通过实验很难测定粒子场原始样本的实际粒子数和分布以建立对三维粒子场图像的评估基准, 因此取实际粒子场的两幅正交侧视图(即由相机在0°和90°方向记录的投影图像)作为基准来大致评估最终的图像质量, 如图10(d), (h)所示, 分别是在0°和90°方向记录的粒子场侧视图(即投影图像). 图10(e)—(g)和图10(i)—(k)分别是图10(a)—(c)取0°和90°方向的侧视图. 与基准图10(d), (h)比较, 重建图像中的鬼粒子和丢失粒子分别标记为蓝色和红色. 据此可以求出重建图像的GPP和PLP值, 结果在表2给出. 根据表2的数据可以得出结论, 在相同的CT 重建过程和网络训练条件下, 基于LREC-net获得的粒子场重建图像的GPP和PLP值均优于其他两种网络方法. 这一结果与模拟分析给出的结论相符合, 即实验结果与模拟分析完全一致.
视图方向 评价指标 LREC-net/% U-net/% Resnet50/% 0° PLP 10 12 16 GPP 4 6 6 90° PLP 4 10 8 GPP 2 4 4 6. 结 论
基于CT技术的高质量三维粒子场成像在实验流体力学和生物医学等领域具有重要的应用意义. 本文针对粒子CT成像中存在的伪影噪声抑制问题开展了研究, 以实现高质量的粒子场图像重建. 为有效抑制成像中的伪影噪声, 基于经典的U-net和Restnet50深度学习网络, 提出了一种新的轻量残差复合增强收敛神经网络(LREC-net)处理方法, 包括在网络的下采样部分设计构建了一个适度的轻量化双残差下采样图像压缩和特征获取结构, 并在网络的上采样部分设计了一个增强特征收敛模块, 以实现快速的粒子图像特征的提取与恢复. 此外, 为建立高SNR的网络输入样本集, 以抑制输入网络的图像噪声, 分析比较了CT反投影图像重建的DBP和FBP算法, 以此建立了基于DBP重建图像的高SNR网络输入图像样本集. LREC-net的网络训练全部基于模拟的输入-输出样本集. 在对所提出的LREC-net网络方法进行模拟分析和实验测试中, 通过计算比较U-net和Resnet50的结果发现, 在相同的成像条件下, LREC-net方法能有效地抑制并消除粒子CT重建图像中的伪影噪声. 此外, LREC-net方法还能有效减少卷积神经网络的训练时间, 从而明显提高网络的运行效率. 这些结果均表明, 所提出的LREC-net方法能够实现在稀疏采样条件下的高质量粒子场CT图像重建.
[1] Yang L, Qiu Z, Alan H, Lu W 2012 IEEE T. Bio-Med. Eng. 59 7Google Scholar
[2] Nayak A R, Malkiel E, McFarland M N, Twardowski M S, Sullivan J M 2021 Front. Mar. Sci. 7 572147Google Scholar
[3] Healy S, Bakuzis A F, Goodwill P W, Attaluri A, Bulte J M, Ivkov R 2022 Wires. Nanomed. Nanobi. 14 e1779Google Scholar
[4] Gao Q, Wang H P, Shen G X 2013 Chin. Sci. Bull. 58 4541Google Scholar
[5] Oudheusden B W V 2013 Meas. Sci. Technol. 24 032001Google Scholar
[6] Sun Z K, Yang L J, Wu H, Wu X 2020 J. Environ. Sci. 89 113Google Scholar
[7] Arhatari B D, Riessen G V, Peele A 2012 Opt. Express 20 21Google Scholar
[8] Vainiger A, Schechner Y Y, Treibitz T, Avin A, Timor D S 2019 Opt. Express 27 12Google Scholar
[9] Cernuschi F, Rothleitner C, Clausen S, Neuschaefer-Rube U, Illemann J, Lorenzoni L, Guardamagna C, Larsen H E 2017 Powder Technol. 318 95Google Scholar
[10] Wang H P, Gao Q, Wei R J, Wang J J 2016 Exp. Fluids 57 87Google Scholar
[11] Kahnt M, Beche J, Brückner D, Fam Y, Sheppard T, Weissenberger T, Wittwer F, Grunwaldt J, Schwieger W, Schroer C G 2019 Optica 6 10Google Scholar
[12] Zhou X, Dai N, Cheng X S, Thompson A, Leach R 2022 Powder Technol. 397 117018Google Scholar
[13] Lell M M, Kachelrieß M 2020 Invest. Radiol. 55 1Google Scholar
[14] Chen H, Zhang Y, Zhang W H, Liao P X, Li K, Zhou J L, Wang G 2017 Biomed. Opt. Express 8 679Google Scholar
[15] Qian K, Wang Y, Shi Y, Zhu X X 2022 IEEE Trans. Geosci. Remote Sens. 60 4706116Google Scholar
[16] Wei C, Schwarm K K, Pineda D I, Spearrin R 2021 Opt. Express 29 14Google Scholar
[17] Zhang Z C, Liang X K, Dong X, Xie Y Q, Cao G H 2018 IEEE T. Med. Imaging 37 1407Google Scholar
[18] Jin K H, McCann M T, Froustey E, Unser M 2017 IEEE T. Image Process. 26 9Google Scholar
[19] Han Y, Ye J C 2018 IEEE T. Med. Imaging 37 1418Google Scholar
[20] Gao Q, Pan S W, Wang H P, Wei R J, Wang J J 2021 AIA 3 1Google Scholar
[21] Wu D F, Kim K, Fakhri G EI, Li Q Z 2017 IEEE T. Med. Imaging 36 2479Google Scholar
[22] Liang J, Cai S, Xu C, Chu J 2020 IET Cyber-Syst Robot 2 1Google Scholar
[23] Wu W W, Hu D L, Niu C, Yu H Y, Vardhanabhuti V, Wang G 2021 IEEE T. Med. Imaging 40 3002Google Scholar
[24] Xia W, Yang Z, Zhou Q, Lu Z, Wang Z, Zhang Y 2022 Medical Image Computing and Computer Assisted Intervention 13436 790Google Scholar
[25] Zhang C, Li Y, Chen G 2021 Med. Phys. 48 10Google Scholar
[26] Cheslerean-Boghiu T, Hofmann F C, Schultheiß M, Pfeiffer F, Pfeiffer D, Lasser T 2023 IEEE T. Comput. Imag. 9 120Google Scholar
[27] Gmitro A F, Tresp V, Gindi G R 1990 IEEE T. Med. Imaging 9 4Google Scholar
[28] Horn B K P 1979 Proc. IEEE 67 12Google Scholar
[29] Chen G H 2003 Med. Phys. 30 6Google Scholar
[30] Chen G H, Tokalkanahalli R, Zhuang T, Nett B E, Hsieh J 2006 Med. Phys. 33 2Google Scholar
[31] Feldkamp L A, Davis L C, Kress J W 1984 J. Opt. Soc. Am. A 1 6Google Scholar
[32] Yang H K, Liang K C, Kang K J, Xing Y X 2019 Nucl. Sci. Tech. 30 59Google Scholar
[33] Katsevich A 2002 Phys. Med. Biol. 47 15Google Scholar
[34] Zeng G L 2010 Medical Image Reconstruction: A Conceptual Tutorial (Berlin: Springer) pp10–28
[35] Lechuga L, Weidlich G A 2016 Cureus 8 9Google Scholar
[36] Schmidt-Hieber J 2020 Ann. Statist. 48 4Google Scholar
[37] Ioffe S, Szegedy C 2015 32nd International Conference on Machine Learning Lile, France, July 07—09, 2015 p448
[38] Ronneberger O, Fischer P, Brox T 2015 Medical Image Computing and Computer-Assisted Intervention Springer, Cham, 2015 p234
[39] He K, Zhang X, Ren S, Sun J 2016 IEEE Conference on Computer Vision and Pattern Recognition Las Vegas, USA, 2016 p770
[40] Ramachandran G N, Lakshminarayanan A V 1971 PNAS 68 9Google Scholar
[41] Kingma D P, Ba J L 2015 arXiv: 1412. 6980 [cs.LG]
[42] Bougourzi F, Dornaika F, Taleb-Ahmed A 2022 Knowl-Based Syst. 242 108246Google Scholar
-
图 1 LREC-net网络架构图. Conv表示卷积; ReLU是整流线性单元, 用以提高模型的泛化能力并降低网络的计算成本[36]; BN是批量归一化处理, 可用于加速网络训练[37]
Fig. 1. Diagram of LREC-net architecture. Conv denotes convolution; ReLU is the rectified linear unit, which is used to promote the generalization ability of the model and reduce the computational cost of the network[36]; BN is the batch normalization, which can be used for accelerating network training[37].
图 5 随机生成3组粒子场模拟切片图像(编号为①—⑥)作为原始样本(各组第1行), DBP层析重建得到的LREC-net输入图像(各组第2行), 以及最终LREC-net输出图像(各组第3行), 每组层析图像重建的样本投影数分别为5, 10和15, 每个原始样本随机包含0—40个粒子, 这些粒子具有1—9个像素的不同大小
Fig. 5. Randomly-generated three groups of particle-field simulation slice images (numbered by ①–⑥) as the original samples (the first row in every group), the LREC-net input images (the second row in every group) obtained with the DBP tomographic reconstruction, and the ultimate LREC-net output images (the third row in every group), the sample projection numbers for tomographic image reconstruction of every group are 5, 10 and 15, respectively. Every original sample contains randomly 0–40 particles with different sizes of 1–9 pixels.
图 6 使用LREC-net, U-net和Resnet50重建三维粒子场, 其中每个三维分布包含6个切片图像, 切片图像的厚度和间隔分别为4像素和100像素, 用于层析图像重建的样本投影数分别为5, 10和15
Fig. 6. Three-dimensional particle-fields reconstructed with LREC-net, U-net and Resnet50, where every three-dimensional distribution contains 6 slice images, the slice image thickness and their space are 4 pixels and 100 pixels, respectively, the sample projection numbers for tomographic image reconstruction of every group are 5, 10 and 15, respectively.
图 7 PLP (a)和GPP (b)分别随基于LREC-net, U-net和Resnet50的层析图像重建中使用的样本投影数量的变化, 用于层析图像重建的样本投影数分别为5, 10, 15, 30和60
Fig. 7. PLP (a) and GPP (b) variations with the numbers of sample projections used in the tomographic reconstruction based on the LREC-net, U-net and Resnet50, respectively. Sample projection numbers for tomographic image reconstruction of every group are 5, 10, 15, 30 and 60, respectively.
图 10 实验粒子场样品的三维重建 (a)—(c)分别使用LREC-net, U-net和Resnet50重建的三维粒子场实验样本; (d), (h)在0°和90°时记录的粒子场样品的侧视图; (e)—(g), (i)—(k)分别以图(d)和图(h)相同的角度(即0°和90°)观测图(a)—(c)的侧视图
Fig. 10. Experimental three-dimensional reconstruction of particle-field sample: (a)–(c) Three-dimensional reconstructed images of the particle-field sample with LREC-net, U-net and Resnet50, respectively; (d), (h) side-views of particle-field sample recorded at 0° and 90°, respectively; (e)–(g), (i)–(k) side-views of panels (a)–(c) observed at the same angles as panels (d) and (h) (i. e. the 0° and 90°), respectively.
表 1 三种网络的下采样结构及其网络训练参数数量
Table 1. Down-sampling constitutions and the training parameter quantity of three networks.
层数 LREC-net U-net Resnet50 1 Res_block2, stride = 2 3×3 Conv 7×7 Conv, stride = 2 Res_block1, stride = 1 3×3 Conv 2×2 Maxpool 2 Res_block2, stride = 2 3×3 Conv 3×3 Maxpool Res_block1, stride = 1 3×3 Conv Res_block2, stride = 1 2×2 Maxpool Res_block1, stride = 1 Res_block1, stride = 1 3 Res_block2, stride = 2 3×3 Conv Res_block2, stride = 2 Res_block1, stride = 1 3×3 Conv Res_block1, stride = 1 2×2 Maxpool Res_block1, stride = 1 Res_block1, stride = 1 4 Res_block2, stride = 2 3×3 Conv Res_block2, stride = 2 Res_block1, stride = 1 3×3 Conv Res_block1, stride = 1 2×2 Maxpool Res_block1, stride = 1 Res_block1, stride = 1 Res_block1, stride = 1 Res_block1, stride = 1 5 Res_block2, stride = 2 3×3 Conv Res_block2, stride = 2 Res_block1, stride = 1 3×3 Conv Res_block1, stride = 1 Res_block1, stride = 1 训练参数数量 3, 529, 040 18, 842, 048 23, 581, 440 轻量化单元数 10 0 16 表 2 实验粒子场重建侧视图的PLP和GPP值
Table 2. PLPs and GPPs of the reconstructed side-views of the experimental particle-field.
视图方向 评价指标 LREC-net/% U-net/% Resnet50/% 0° PLP 10 12 16 GPP 4 6 6 90° PLP 4 10 8 GPP 2 4 4 -
[1] Yang L, Qiu Z, Alan H, Lu W 2012 IEEE T. Bio-Med. Eng. 59 7Google Scholar
[2] Nayak A R, Malkiel E, McFarland M N, Twardowski M S, Sullivan J M 2021 Front. Mar. Sci. 7 572147Google Scholar
[3] Healy S, Bakuzis A F, Goodwill P W, Attaluri A, Bulte J M, Ivkov R 2022 Wires. Nanomed. Nanobi. 14 e1779Google Scholar
[4] Gao Q, Wang H P, Shen G X 2013 Chin. Sci. Bull. 58 4541Google Scholar
[5] Oudheusden B W V 2013 Meas. Sci. Technol. 24 032001Google Scholar
[6] Sun Z K, Yang L J, Wu H, Wu X 2020 J. Environ. Sci. 89 113Google Scholar
[7] Arhatari B D, Riessen G V, Peele A 2012 Opt. Express 20 21Google Scholar
[8] Vainiger A, Schechner Y Y, Treibitz T, Avin A, Timor D S 2019 Opt. Express 27 12Google Scholar
[9] Cernuschi F, Rothleitner C, Clausen S, Neuschaefer-Rube U, Illemann J, Lorenzoni L, Guardamagna C, Larsen H E 2017 Powder Technol. 318 95Google Scholar
[10] Wang H P, Gao Q, Wei R J, Wang J J 2016 Exp. Fluids 57 87Google Scholar
[11] Kahnt M, Beche J, Brückner D, Fam Y, Sheppard T, Weissenberger T, Wittwer F, Grunwaldt J, Schwieger W, Schroer C G 2019 Optica 6 10Google Scholar
[12] Zhou X, Dai N, Cheng X S, Thompson A, Leach R 2022 Powder Technol. 397 117018Google Scholar
[13] Lell M M, Kachelrieß M 2020 Invest. Radiol. 55 1Google Scholar
[14] Chen H, Zhang Y, Zhang W H, Liao P X, Li K, Zhou J L, Wang G 2017 Biomed. Opt. Express 8 679Google Scholar
[15] Qian K, Wang Y, Shi Y, Zhu X X 2022 IEEE Trans. Geosci. Remote Sens. 60 4706116Google Scholar
[16] Wei C, Schwarm K K, Pineda D I, Spearrin R 2021 Opt. Express 29 14Google Scholar
[17] Zhang Z C, Liang X K, Dong X, Xie Y Q, Cao G H 2018 IEEE T. Med. Imaging 37 1407Google Scholar
[18] Jin K H, McCann M T, Froustey E, Unser M 2017 IEEE T. Image Process. 26 9Google Scholar
[19] Han Y, Ye J C 2018 IEEE T. Med. Imaging 37 1418Google Scholar
[20] Gao Q, Pan S W, Wang H P, Wei R J, Wang J J 2021 AIA 3 1Google Scholar
[21] Wu D F, Kim K, Fakhri G EI, Li Q Z 2017 IEEE T. Med. Imaging 36 2479Google Scholar
[22] Liang J, Cai S, Xu C, Chu J 2020 IET Cyber-Syst Robot 2 1Google Scholar
[23] Wu W W, Hu D L, Niu C, Yu H Y, Vardhanabhuti V, Wang G 2021 IEEE T. Med. Imaging 40 3002Google Scholar
[24] Xia W, Yang Z, Zhou Q, Lu Z, Wang Z, Zhang Y 2022 Medical Image Computing and Computer Assisted Intervention 13436 790Google Scholar
[25] Zhang C, Li Y, Chen G 2021 Med. Phys. 48 10Google Scholar
[26] Cheslerean-Boghiu T, Hofmann F C, Schultheiß M, Pfeiffer F, Pfeiffer D, Lasser T 2023 IEEE T. Comput. Imag. 9 120Google Scholar
[27] Gmitro A F, Tresp V, Gindi G R 1990 IEEE T. Med. Imaging 9 4Google Scholar
[28] Horn B K P 1979 Proc. IEEE 67 12Google Scholar
[29] Chen G H 2003 Med. Phys. 30 6Google Scholar
[30] Chen G H, Tokalkanahalli R, Zhuang T, Nett B E, Hsieh J 2006 Med. Phys. 33 2Google Scholar
[31] Feldkamp L A, Davis L C, Kress J W 1984 J. Opt. Soc. Am. A 1 6Google Scholar
[32] Yang H K, Liang K C, Kang K J, Xing Y X 2019 Nucl. Sci. Tech. 30 59Google Scholar
[33] Katsevich A 2002 Phys. Med. Biol. 47 15Google Scholar
[34] Zeng G L 2010 Medical Image Reconstruction: A Conceptual Tutorial (Berlin: Springer) pp10–28
[35] Lechuga L, Weidlich G A 2016 Cureus 8 9Google Scholar
[36] Schmidt-Hieber J 2020 Ann. Statist. 48 4Google Scholar
[37] Ioffe S, Szegedy C 2015 32nd International Conference on Machine Learning Lile, France, July 07—09, 2015 p448
[38] Ronneberger O, Fischer P, Brox T 2015 Medical Image Computing and Computer-Assisted Intervention Springer, Cham, 2015 p234
[39] He K, Zhang X, Ren S, Sun J 2016 IEEE Conference on Computer Vision and Pattern Recognition Las Vegas, USA, 2016 p770
[40] Ramachandran G N, Lakshminarayanan A V 1971 PNAS 68 9Google Scholar
[41] Kingma D P, Ba J L 2015 arXiv: 1412. 6980 [cs.LG]
[42] Bougourzi F, Dornaika F, Taleb-Ahmed A 2022 Knowl-Based Syst. 242 108246Google Scholar
计量
- 文章访问数: 1523
- PDF下载量: 56