搜索

x

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于深度神经网络的时空编码磁共振成像超分辨率重建方法

向鹏程 蔡聪波 王杰超 蔡淑惠 陈忠

向鹏程, 蔡聪波, 王杰超, 蔡淑惠, 陈忠. 基于深度神经网络的时空编码磁共振成像超分辨率重建方法. 物理学报, 2022, 71(5): 058702. doi: 10.7498/aps.71.20211754
引用本文: 向鹏程, 蔡聪波, 王杰超, 蔡淑惠, 陈忠. 基于深度神经网络的时空编码磁共振成像超分辨率重建方法. 物理学报, 2022, 71(5): 058702. doi: 10.7498/aps.71.20211754
Xiang Peng-Cheng, Cai Cong-Bo, Wang Jie-Chao, Cai Shu-Hui, Chen Zhong. Super-resolved reconstruction method for spatiotemporally encoded magnetic resonance imaging based on deep neural network. Acta Phys. Sin., 2022, 71(5): 058702. doi: 10.7498/aps.71.20211754
Citation: Xiang Peng-Cheng, Cai Cong-Bo, Wang Jie-Chao, Cai Shu-Hui, Chen Zhong. Super-resolved reconstruction method for spatiotemporally encoded magnetic resonance imaging based on deep neural network. Acta Phys. Sin., 2022, 71(5): 058702. doi: 10.7498/aps.71.20211754

基于深度神经网络的时空编码磁共振成像超分辨率重建方法

向鹏程, 蔡聪波, 王杰超, 蔡淑惠, 陈忠

Super-resolved reconstruction method for spatiotemporally encoded magnetic resonance imaging based on deep neural network

Xiang Peng-Cheng, Cai Cong-Bo, Wang Jie-Chao, Cai Shu-Hui, Chen Zhong
PDF
HTML
导出引用
  • 单扫描时空编码磁共振成像是一种新型超快速磁共振成像技术, 它对磁场不均匀和化学位移伪影有较强的抵抗性, 但是其固有的空间分辨率较低, 因此通常需要进行超分辨率重建, 以在不增加采样点数的情况下提高时空编码磁共振图像的空间分辨率. 然而, 现有的重建方法存在迭代求解时间长、重建结果有混叠伪影残留等问题. 为此, 本文提出了一种基于深度神经网络的单扫描时空编码磁共振成像超分辨率重建方法. 该方法采用模拟样本训练深度神经网络, 再利用训练好的网络模型对实际采样信号进行重建. 数值模拟、水模和活体鼠脑的实验结果表明, 该方法能快速重建出无残留混叠伪影、纹理信息清楚的超分辨率时空编码磁共振图像. 适当增加训练样本数量以及在训练样本中加入适当的随机噪声水平, 有助于改善重建效果.
    Single-shot spatiotemporally-encoded magnetic resonance imaging (SPEN MRI) is a novel ultrafast MRI technology. The SPEN MRI possesses great resistance to inhomogeneous B0 magnetic field and chemical shift effect. However, it has inherently low spatial resolution, and the super-resolved reconstruction is required to improve the spatial resolution of SPEN MRI image without additional signal acquisition. Several super-resolved reconstruction methods have been proposed, but they all suffer the problems of long iterative solution time and/or aliasing artifacts residue in the reconstructed results. In this paper, a super-resolved reconstruction method is proposed for single-shot SPEN MRI based on deep neural network. In this method the simulation samples are used to train the deep neural network, and then the trained network model is adopted to reconstruct the real sampled signals. Experimental results of numerical simulation, water phantom and in vivo rat brain show that this method can quickly reconstruct a super-resolved SPEN image with no residual aliasing artifacts, and clear texture information. An appropriate number of training samples and an appropriate random noise level for training samples contribute to improving the reconstruction results.
      通信作者: 蔡淑惠, shcai@xmu.edu.cn
    • 基金项目: 国家自然科学基金(批准号: 11775184, 82071913, U1805261)和福建省科技计划项目(批准号: 2019Y0001)资助的课题
      Corresponding author: Cai Shu-Hui, shcai@xmu.edu.cn
    • Funds: Project supported by the National Natural Science Foundation of China (Grant Nos. 11775184, 82071913, U1805261) and the Science and Technology Project of Fujian Province of China (Grant No. 2019Y0001)

    单扫描时空编码磁共振成像(spatiotemporally-encoded magnetic resonance imaging, SPEN MRI)是一种新兴的超快速成像技术[1-3]. 与回波平面成像(echo planar imaging, EPI)相比, SPEN MRI在相位编码维采用更大的带宽, 这使得其受磁场不均匀和化学位移的影响较小, 但是大的采样带宽限制了其信号采样点数, 因此通常SPEN MRI的信号是欠采样的. 根据SPEN MRI的稳定相位点特性, 可以直接对采样信号取幅值重建出MRI图像. 然而, 这样得到的图像空间分辨率不能满足实际应用的需要, 因而需要对SPEN MRI采样信号进行超分辨率(super-resolved, SR)重建.

    SPEN MRI采样时相邻稳定相位点在空间位置上存在部分重叠, 这种“过采样”机制提供了可用于SR重建的冗余信息[4]. 基于此, 近十年来, 已有数种针对于单扫描SPEN MRI的SR重建方法被提出, 如共轭梯度下降法[4]、部分傅里叶法[5]、去卷积法[6]和超分辨率增强边缘鬼影去除法(SEED)[7]等. 共轭梯度下降法将采样信号和相位信息矩阵离散化表示后, 通过最小二乘拟合对采样信号的线性方程组进行迭代求解得到SR图像. 由该方法重建得到的图像的数字分辨率理论极限为信号的采样点数, 当信号欠采样倍数过大时, 矩阵条件数随之变大, 导致可能无法对线性方程组进行求解. 此外, 通过梯度下降迭代法逼近方程的解, 容易受磁场扰动和梯度不准的影响; 同时, 如果相位信息矩阵的维度大, 迭代求解的过程将比较耗时. 部分傅里叶法根据SPEN MRI采样信号的空间选择特性, 忽略距离稳定相位点较远位置的采样信号的贡献, 通过对相位信息矩阵加入空间位置选择加权因子, 仅使用稳定相位点相邻区域的采样信号贡献重建出SR图像. 部分傅里叶法不需要通过迭代法求解, 计算量小, 重建速度快, 但其SR图像的理论数字分辨率极限也为信号采样点数. 去卷积法首先巧妙地去除SPEN MRI采样信号的二次相位调制, 使原本相位震荡剧烈的采样信号变得平滑, 然后对信号沿空间编码维线性插值以抑制欠采样带来的混叠伪影, 同时提升重建图像的数字分辨率, 最终通过反卷积重建出SR图像. 去卷积法通过插值突破了采样信号点数对重建结果数字分辨率的限制, 但是这种插值只对图像分段平滑的区域有效, 不适用于图像边缘的尖锐区域和纹理信息比较丰富的区域, 而这些区域往往包含重要的信息, 重建结果在这些区域可能存在残留伪影, 空间分辨率较低. SEED法利用与混叠伪影相关的额外二次相位信息, 通过填零提高重建结果的数字分辨率, 可以在不损失空间分辨率的情况下移除混叠伪影, 达到理论上的最优空间分辨率. 该方法通过非线性共轭梯度算法迭代求解出最终结果, 计算量大, 重建速度较慢. 此外, 在实验条件不理想的情况下, 重建结果边缘区域存在残留伪影.

    随着计算机硬件性能的不断提升, 深度学习技术得到飞速发展并越来越广泛地应用于医学成像领域[8-19]. 深度神经网络(deep neural network, DNN)是包含多个隐藏层的神经网络, 它使用反向传播算法对网络进行训练, 并采用梯度下降法更新卷积核的权重. DNN采用局部连接和神经元权值共享的方式, 可以直接将图像作为网络输入并自行提取如颜色、形状、纹理、结构等图像特征, 在处理二维图像问题上有巨大的优势. 基于DNN的MRI重建方法通过大量的数据样本对深度神经网络进行训练, 训练完成后的网络模型可以对相同特征类型的测试数据快速完成重建[9,15-17,19]. 2015年, Ronneberger等[20]提出一种新型DNN结构U-Net. U-Net是目前非常流行的一种DNN, 它使用对称的编解码器结构, 在编解码器的同层之间建立直连, 可以融合多尺度的特征信息, 在医学图像分割和重建上表现优异[21,22]. 在此背景下, 本文提出了一种基于U-Net的单扫描SPEN MRI SR重建方法. 该方法根据实际SPEN MRI实验条件制作大量模拟训练样本, 采用模拟样本对网络进行训练[9,17], 然后通过训练完成的网络模型对预处理后的SPEN MRI采样信号进行重建, 得到SR图像. 与现有的SR重建方法相比, 该方法在能得到SPEN MRI的SR图像的同时, 重建速度快, 重建结果能消除混叠伪影.

    图1为本文所用单扫描SPEN MRI脉冲序列, 图中G代表脉冲梯度场, T代表时间, N/2代表采样模块重复次数. 该序列在相位编码(phase-encoding, PE)维进行时空编码, 读出(readout, RO)维为传统k空间编码, 采样信号空间为图像域-k空间的混合空间. SS维为层选(slice selection)维. SPEN MRI在PE维的全采样点数Nfull由90° chirp射频(RF)脉冲带宽WB和持续时间Texc决定:

    $$ {N_{{\text{full}}}} = {W_{\text{B}}} \cdot {T_{{\text{exc}}}} . $$ (1)

    沿y方向进行时空编码一维成像时, 其采样信号可表示为[5]

    $$ \begin{split} s(t) \propto \;&\int_{ - {L_y}/2}^{{L_y}/2} \rho (y)\exp \Bigg[{{{\rm{i}}}}\Bigg( - \frac{{\gamma {G_\text{exc}}{T_\text{exc}}}}{{2{L_{{y}}}}}{y^2} + \frac{{\gamma {G_\text{exc}}{T_\text{exc}}}}{{2{L_{{y}}}}}y \\ &- \frac{{\gamma {G_\text{exc}}{T_\text{exc}}}}{4}L_{{y}}^2 + \gamma {G_\text{acq}}yt\Bigg)\Bigg]{\text{d}}y , \\[-15pt] \end{split} $$ (2)

    其中, ρ(y)为核自旋密度, γ为核自旋的旋磁比, Ly为成像视野, Gexc为时空编码梯度强度, Gacq为采样阶段的解码梯度强度. 由(2)式可见采样信号中存在一个与空间位置相关的二次相位调制.

    图 1 本文所用SPEN MRI脉冲序列\r\nFig. 1. Pulse sequence of SPEN MRI used in this study.
    图 1  本文所用SPEN MRI脉冲序列
    Fig. 1.  Pulse sequence of SPEN MRI used in this study.

    SPEN MRI信号的二次相位调制特性使其相位只在稳定相位点附近是缓慢变化的, 其他区域的相位则变化剧烈. 相位变化剧烈区域的信号相互抵消, 对成像没什么贡献, 却给重建带来困难, 因此在将待重建信号输入深度神经网络前需要去除此二次相位. 去除二次相位的过程为

    $$ \hat s(t) = s(t) \cdot \exp \left({{{\rm{i}}}}\frac{{\gamma {G_\text{exc}}{T_\text{exc}}}}{{2{L_{{y}}}}}{y^2}\right) . $$ (3)

    结合(2)式和(3)式, 去除二次相位后的平滑信号$ \hat s(t) $

    $$ \begin{split} \hat s(t) \propto \;&\int_{ - {L_{{y}}}/2}^{{L_{{y}}}/2} \rho (y)\exp \Bigg[{{{\rm{i}}}}\Bigg(\frac{{\gamma {G_\text{exc}}{T_\text{exc}}}}{{2{L_{{y}}}}}y\\ &- \frac{{\gamma {G_\text{exc}}{T_\text{exc}}}}{4}L_{{y}}^2 + \gamma {G_\text{acq}}yt\Bigg)\Bigg]{\text{d}}y . \end{split} $$ (4)

    $ \hat s(t) $沿PE维进行线性插值, 插值后的信号在PE维方向上数据点数为全采样点数Nfull. 将插值后的信号归一化, 即可分别取其实部和虚部作为卷积神经网络的双通道输入.

    对二维采样, 如果RO维采样点数少于Nfull, 在去除二次相位前要对混合空间域的采样信号沿RO维填零并进行一维傅里叶变换, 将信号转化为图像域. RO维填零后的大小与PE维全采样点数Nfull相等, 以使采样信号经预处理后作为网络输入的图像域数据为方形矩阵.

    要对深度神经网络进行训练需要大量的样本, 样本采集耗时长, 而且真实的实验环境往往不理想, 无法获得作为标签的实验数据, 因此我们采用模拟方法生成SPEN MRI信号来制作训练样本.

    2.2.1   采样模板制作

    我们在MATLAB软件上运行自己编写的代码生成批量的具有不同纹理结构和磁共振参数分布的随机模拟采样模板, 核自旋密度M0的取值范围为[0, 1], 横向弛豫时间T2的取值范围为[0, 0.25 s]. 纵向弛豫时间T1设为1 s, 受不均匀磁场影响的横向弛豫时间$T_2^*$设为0.02 s.

    2.2.2   模拟信号采集

    将SPEN MRI序列和采样模板导入MRiLab模拟软件[23]中, 设置序列参数与实际实验一致. 在实际实验中, 静磁场B0往往不完全均匀. 为了提高重建方法的鲁棒性, 根据实际实验条件对B0场不均匀性进行建模, 然后在模拟的不均匀磁场条件下进行模拟信号采集. B0场的不均匀性由(5)式表示:

    $$ \begin{split} \Delta {B_0}(x,y) = \;&{\text{am}}{{\text{p}}_0} \times ({a_0}x + {b_0}y + {c_0}xy + {d_0}{x^2} \\ &+ {e_0}{y^2} + {f_0}x{y^2} + {g_0}{x^2}y)/\gamma , \end{split} $$ (5)

    其中: amp0为控制B0场偏离程度的参数, 在建模时通过拉莫进动频率公式与频率偏移Δf关联; a0, b0, c0, d0, e0, f0, g0为方程中各项的系数, 服从[–0.5, 0.5]之间的均匀分布; x, yB0矩形模板经过归一化后的坐标值, 范围是[–1, 1].

    2.2.3   模拟信号预处理

    在通过MRiLab软件获得SPEN MRI模拟采样信号后, 按2.1节的方法对其进行预处理. 考虑到实际实验中存在噪声, 我们对预处理后的信号加入与实验环境相当的正态分布的高斯随机噪声, 然后分别取其实部和虚部作为训练深度神经网络的双通道输入数据.

    2.2.4   标签制作

    采用理想实验条件下的全采样SPEN MRI模拟信号图像作为标签. 首先去除(5)式的磁场不均匀偏移量, 然后采用相同的脉冲序列对采样模板进行采样, PE维和RO维的采样点数均为Nfull, 获得相同采样模板的理想SPEN MRI全采样模拟信号. 对此全采样模拟信号进行二维傅里叶变换, 归一化后取幅值作为训练深度神经网络的标签.

    本文选用U-Net[20]进行图像重建. 使用PyCharm编译器和深度学习框架PyTorch搭建一个如图2所示的5层的U-Net深度神经网络. 输入通道数为2, 分别对应预处理后的采样信号的实部和虚部, 输出通道为1, 即输出重建的SR图像.

    图 2 U-Net网络结构示意图\r\nFig. 2. Diagram of U-Net network structure.
    图 2  U-Net网络结构示意图
    Fig. 2.  Diagram of U-Net network structure.

    训练网络的损失函数采用均方误差(mean square error, MSE), 其可以表示为

    $$ \text{loss} = \frac{1}{{{N_{\text{s}}}}}\sum\limits_{j = 1}^{{N_{\text{s}}}} {\left\| {f({{\boldsymbol{X}}_j},{\boldsymbol{W}},{\boldsymbol{B}}) - {{\boldsymbol{L}}_j}} \right\|_2^2} , $$ (6)

    其中, Ns为每次迭代训练时的图像块数目, $f\,(\,)$为网络所学习的输入X和输出Y间的非线性映射函数, L表示标签, W表示网络卷积层的权重信息, B表示偏置. WB随着对网络的迭代训练而不断更新.

    采用上述批量训练样本对深度神经网络进行训练, 直至网络收敛, 然后保存训练好的网络模型. 将按照2.1节预处理后的SPEN MRI实际采样信号数据输入训练好的网络模型, 即可重建得到SR图像.

    实验所用脉冲序列如图1所示. 数值模拟实验在MRiLab上进行, 水模和活体鼠脑实验在7 T Varian MRI仪上进行. 使用异氟烷将大鼠麻醉并放置在动物床上进行实验, 所有操作均遵守厦门大学实验动物管理中心的规定. 对采样信号的预处理在MATLAB软件上通过自己编写的程序完成.

    数值模拟实验参数为: Texc = 4 ms, WB = 32 kHz, Tacq = 38.912 ms, 回波时间TE = 45.21 ms, 重复时间TR = 67.76 ms; PE维采样点数Npe = 64, 欠采样倍数为2; RO维采样点数Nro = Nfull = 128. 全采样信号点数[Npe, Nro]=[128, 128], 模拟信号采样时设置不均匀场频偏Δf = 1500 Hz. 一共制作3000个训练样本, 训练集、测试集、验证集的样本数比例为8∶1∶1.

    水模和活体鼠脑实验所用WB, Texc, TE, Tacq, Npe, Nro参数均与数值模拟实验一致. 采用单扫描SPEN MRI序列进行水模实验时, WB = 250 kHz, 视野(field of view, FOV) = 5 cm × 5 cm, 层厚为2 mm, 层数为1. 多扫描快速自旋回波(FSE)参考图像和EPI对比图像的采集在与SPEN MRI相同的实验环境下进行, 且FOV、层厚、层数与SPEN序列采样时相同. FSE的TR = 3000 ms, 采样点数[Npe, Nro] = [128, 128], 重复扫描8次. EPI的TE = 44.82 ms, 采样点数[Npe, Nro]=[64, 128]. 三种方法的活体鼠脑实验相关成像参数和水模实验相同. 考虑到多扫描FSE序列的采样时间较长, 将FSE重复扫描次数减为4.

    训练数据沿PE维随机切成64 × 128的图像块. U-Net卷积核大小为3 × 3, 步长为1, padding形式为same. 每次卷积后面都接一个ReLU激活函数. 降采样过程最大池化尺寸为2 × 2, 步长为2, padding形式为same. 反卷积核(也称转置卷积核)大小为2 × 2, 步长为2, padding形式为same. 网络训练使用2个GTX2080Ti, batch size大小为8, 初始学习率为1 × 10–4, 每迭代20000步学习率减小0.5倍, 共迭代15万步.

    采用模拟样本对U-Net进行训练的训练误差和验证误差曲线如图3所示, 训练完成后, 训练误差和验证误差分别为7.89 × 10–4和8.33 × 10–4.

    图 3 采用模拟样本训练U-Net的训练误差曲线和验证误差曲线\r\nFig. 3. The training error curve and validation error curve of U-Net trained with simulated samples.
    图 3  采用模拟样本训练U-Net的训练误差曲线和验证误差曲线
    Fig. 3.  The training error curve and validation error curve of U-Net trained with simulated samples.

    使用目前单扫描SPEN MRI的最优SR重建方法SEED作为对比对本方法的重建结果进行评价. 两种方法的重建结果数字分辨率均为128 × 128. 对于数值模拟实验, 通过计算两种方法重建图像的结构相似性(structural similarity index metric, SSIM)和峰值信噪比(peak signal-to-noise ratio, PSNR)作为图像质量评估指标. SSIM和PSNR的计算方式分别为

    $$ \text{SSIM}({\boldsymbol{Y}},{\boldsymbol{L}}) = \frac{{\left( {2{\mu _{\text{Y}}}{\mu _{\text{L}}} + {c_1}} \right)\left( {2{\sigma _{{\text{YL}}}} + {c_2}} \right)}}{{\left( {\mu _{\text{Y}}^2 + \mu _{\text{L}}^2 + {c_1}} \right)\left( {\sigma _{\text{Y}}^2 + \sigma _{\text{L}}^2 + {c_2}} \right)}} , $$ (7)

    其中: μY为重建图像Y的平均值; μL为标签L的平均值; $ \sigma _{\text{Y}}^2 $Y的方差; $ \sigma _{\text{L}}^2 $L的方差; σYLYL的协方差; ${c_1} = {\left( {{k_1}V} \right)^2}$, ${c_2} = {\left( {{k_2}V} \right)^2}$为用来维持稳定的常数项, k1 = 0.01, k2 = 0.03, V为图像的像素值范围.

    $$ \text{PSNR} = 20\lg \frac{{\text{MAX}{_{\text{L}}}}}{{\text{MSE}}} , $$ (8)

    其中, MAXL为标签L的最大值, MSE为YL的均方误差.

    图4为数值模拟实验结果. 由于数值模型的采样信号在不同区域的交界处变化比较剧烈, 全采样标签图中有振铃效应导致的截断伪影. SEED方法的重建时间约为117 s, 而U-Net方法的重建时间大约为1 s, 重建时间大大缩短. 比较U-Net和SEED的重建结果可以看到, 两者都能对原始SPEN MRI采样信号进行超分辨率重建, 解决SPEN固有空间分辨率较低的问题. 如图4中红色矩形框所指区域所示, 相比于SEED方法, U-Net的重建结果与全采样标签更接近. SEED重建结果的SSIM和SNR分别为91.56%和24.94 dB, 而U-Net重建结果的SSIM和SNR分别为93.61%和27.83 dB, 两项评价指标都有提升.

    图 4 数值模拟结果, 红色矩形所围区域放大显示于相应图的右下角\r\nFig. 4. Numerical simulation results. The region enclosed by the red rectangle is enlarged and displayed in the lower right corner of the corresponding figure.
    图 4  数值模拟结果, 红色矩形所围区域放大显示于相应图的右下角
    Fig. 4.  Numerical simulation results. The region enclosed by the red rectangle is enlarged and displayed in the lower right corner of the corresponding figure.

    不同成像序列和重建方法得到的结果如图5所示. SEED方法的重建时间约为129 s, U-Net方法的重建时间约为1 s. 由图可见, SEED方法重建结果存在受振铃效应影响导致的截断伪影, 而该效应在U-Net重建结果中得到了改善. 比较图5中的红色矩形框区域可以看到, U-Net和SEED方法对欠采样倍数为2的水模SPEN MRI采样信号SR重建后图像的空间分辨率都接近多扫描FSE全采样参考图, 明显优于相同采样点数下的EPI图像. 此外, 由于主磁场并不完全均匀, 加上水模样品本身存在不均匀, EPI图像发生明显扭曲, 同时EPI图像中还存在欠采样导致的混叠伪影; 而SPEN MRI对不均匀场抵抗性较强, 畸变较小, 同时混叠伪影也被消除.

    图 5 不同成像序列和重建方法得到的水模图像, 红色矩形所围区域放大显示于相应图的左下角\r\nFig. 5. Water phantom images obtained by different imaging sequences and reconstruction methods. The region enclosed by the red rectangle is enlarged and displayed in the lower left corner of the corresponding figure.
    图 5  不同成像序列和重建方法得到的水模图像, 红色矩形所围区域放大显示于相应图的左下角
    Fig. 5.  Water phantom images obtained by different imaging sequences and reconstruction methods. The region enclosed by the red rectangle is enlarged and displayed in the lower left corner of the corresponding figure.

    不同成像序列和重建方法得到的结果如图6所示. 进行活体鼠脑实验时, 我们使用的接收线圈为体线圈, 采样信号SNR较低, 因此在比较不同方法的重建结果时, 主要关注信号强度较高的脑区部分. SEED方法重建时间约为154 s, U-Net重建时间约为1 s. 从图6可以看到, 由于受不均匀场影响, 相比于FSE参考图像, EPI图像扭曲十分严重, 而SPEN MRI对不均匀场的抵抗性明显增强, 鼠脑区域扭曲较小. 与SEED的重建结果相比, U-Net的重建结果在鼠脑边缘区域的亮暗变化较小, 更接近参考图像.

    图 6 不同成像序列和重建方法得到的活体鼠脑图像\r\nFig. 6. In vivo rat brain images obtained by different imaging sequences and reconstruction methods.
    图 6  不同成像序列和重建方法得到的活体鼠脑图像
    Fig. 6.  In vivo rat brain images obtained by different imaging sequences and reconstruction methods.

    由于SPEN MRI在实际实验时往往是欠采样的, 其SR重建图像往往存在混叠伪影, 本文提出的方法利用深度神经网络学习输入和全采样标签之间的映射关系, 能够重建出无混叠伪影的图像. SEED方法也能去除欠采样混叠伪影, 然而它对信号采集的实验条件要求比较严格, 例如chirp激发脉冲要准确, 否则它可能无法提取到精确的边缘混叠伪影信息, 导致重建结果伪影不能完全消除. 此外, 采用SEED方法重建时, 需要设置合理的重建参数, 因此需要耗费一定的时间对重建参数进行优化选择. 例如对于不同样品的采样信号, 往往需要设置不同的小波变换和有限差分变换的正则化因子, 这两个正则化因子会影响重建结果的伪影抑制能力和空间分辨率. 与SEED方法相比, U-Net方法对不同的待重建数据的泛化能力更强, 同时重建速度也大大加快.

    深度神经网络方法的重建结果会受到一些因素的影响, 例如: 网络模型结构和深度、损失函数的选择、网络通道数、训练样本数、训练样本的噪声水平、训练数据是否切块以及切块大小等. 在重建过程中我们发现, 在网络深度方面, 适当增加U-Net的卷积层深度可以增强网络的特征提取能力, 使得重建结果的分辨率更高、纹理更精细, 但并不是层数越多越好, 网络层数越多占用的内存越多, 计算量越大, 训练速度越慢, 还可能产生过拟合. 综合考虑网络的数据特征提取能力、计算量以及训练时间, 采用的下采样卷积层深度为5. 在对网络的训练过程中我们发现, 对训练样本进行归一化会大大提升重建结果质量, 因此采用批最大值归一化方式. 另外, 对训练数据进行切块以减小特征图运算时的尺寸有利于加快网络的训练速度, 因此在输入给网络时我们对训练数据沿直接采样维进行切块处理, 切块大小为原训练样本尺寸的一半.

    深度神经网络通过大量的训练样本提取数据特征, 并将学习到的输入输出间的非线性映射关系向同类型测试数据泛化, 因此对基于深度神经网络的SR重建方法, 训练样本至关重要. 下面我们分别对训练样本数量和训练样本的噪声水平这两个比较关键的因素对重建结果的影响进行讨论. 对SPEN MRI信号采样的实验条件和相关成像参数与前面相同.

    为探讨训练样本数对重建结果的影响, 分别采用1000, 1600和3000个样本对网络进行训练, 其对应的重建结果如图7所示. 水模本身包含的纹理信息不丰富, 我们通过比较空间分辨率的提升来讨论训练样本数对本方法重建质量的影响. 当将训练样本数量从1000增大到1600时, 水模重建结果分辨率有提升但仍不太理想. 继续增大训练样本数量到3000时, 水模重建结果的空间分辨率表现良好. 对鼠脑而言, 当只用1000个样本训练网络时, 由于数据量太少, 鼠脑的重建结果缺失了一些纹理和组织结构信息, 脑部区域的分辨率也比较低. 随着样本数量的增加, 网络可以有更多的数据来学习输入输出之间蕴含的映射关系. 当样本量分别增加到1600和3000时, 鼠脑组织结构的细节逐渐丰富, 同时脑部区域的分辨率也有较明显的提升. 继续增大训练样本量, 网络收敛时的损失值和对重建结果质量的提升不明显.

    图 7 采用不同数量训练样本训练的5层U-Net网络重建的图像\r\nFig. 7. Images reconstructed by 5-layer U-Net trained with different amount of training samples.
    图 7  采用不同数量训练样本训练的5层U-Net网络重建的图像
    Fig. 7.  Images reconstructed by 5-layer U-Net trained with different amount of training samples.

    为了模拟实际实验条件, 增强重建方法的鲁棒性, 在制作模拟训练样本时往往需要加入与实际采样信号相似分布的高斯随机噪声. 经预处理后的训练样本的幅值取值范围为[0, 1], 根据实际信号采样时的噪声水平范围, 本文对3000个训练样本加入不同均值分布的高斯随机噪声, 不同噪声水平训练样本下水模重建结果如图8所示. 由于用MRiLab模拟采样时实验环境是理想的, 当不对模拟样本加随机噪声直接对网络进行训练时, 实采水模重建结果较差. 逐渐加大噪声水平, 图像重建质量得到提升, 但当所加的随机噪声大于一定阈值后, 重建结果变差. 噪声均值在8 × 10–3的训练样本所训练的网络重建结果最好.

    图 8 采用不同噪声水平样本训练的5层U-Net网络重建的水模图像\r\nFig. 8. Water phantom images reconstructed by 5-layer U-Net trained with samples having different noise levels.
    图 8  采用不同噪声水平样本训练的5层U-Net网络重建的水模图像
    Fig. 8.  Water phantom images reconstructed by 5-layer U-Net trained with samples having different noise levels.

    本文提出了一种基于深度神经网络的单扫描SPEN MRI超分辨率重建方法. 该方法根据实际实验条件利用MRiLab软件制作出批量模拟训练样本, 然后选取合适的网络结构和参数对网络模型进行训练, 最后将预处理后的单扫描SPEN MRI采样信号输入到训练好的网络模型, 得到超分辨率图像. 与现有的超分辨率重建方法相比, 本文的方法能在1 s内快速重建出无残留混叠伪影、纹理信息清楚的超分辨率SPEN MRI图像. 本文也探讨了训练样本数量和在训练样本中添加随机噪声对重建结果的影响. 在未来的工作中, 我们将进一步从训练样本制作和网络结构方面进一步完善重建方法, 并将其应用于SPEN MRI的应用研究中.

    [1]

    Shrot Y, Frydman L 2005 J. Magn. Reson. 172 179Google Scholar

    [2]

    Tal A, Frydman L 2006 J. Magn. Reson. 182 179Google Scholar

    [3]

    Solomon E, Avni R, Hadas R, Raz T, Garbow J R, Bendel P, Frydman L, Neeman M 2014 Proc. Nati. Acad. Sci. USA 111 10353Google Scholar

    [4]

    Ben-Eliezer N, Irani M, Frydman L 2010 Magn. Reson. Med. 63 1594Google Scholar

    [5]

    Chen Y, Li J, Qu X B, Chen L, Cai C B, Cai S H, Zhong J H, Chen Z 2013 Magn. Reson. Med. 69 1326Google Scholar

    [6]

    Cai C B, Dong J Y, Cai S H, Li J, Chen Y, Bao L J, Chen Z 2013 J. Magn. Reson. 228 136Google Scholar

    [7]

    Chen L, Li J, Zhang M, Cai S H, Zhang T, Cai C B, Chen Z 2015 Med. Image Anal. 23 1Google Scholar

    [8]

    Aliotta E, Nourzadeh H, Sanders J, Muller D, Ennis D B 2019 Med. Phys. 46 1581Google Scholar

    [9]

    Chun J, Zhang H, Gach H M, Olberg S, Mazur T, Green O, Kim T, Kim H, Kim J S, Mutic S, Park J C 2019 Med. Phys. 46 4148Google Scholar

    [10]

    Le M H, Chen J, Wang L, Wang Z, Liu W, Cheng K T, Yang X 2017 Phys. Med. Biol. 62 6497Google Scholar

    [11]

    Liu Y, Lei Y, Wang Y, Wang T, Ren L, Lin L, McDonald M, Curran W J, Liu T, Zhou J, Yang X 2019 Phys. Med. Biol. 64 145015Google Scholar

    [12]

    罗伶俐, 王远军 2020 中国医学物理学杂志 37 873Google Scholar

    Luo L L, Wang Y J 2020 Chin. J. Med. Phys. 37 873Google Scholar

    [13]

    王甜甜, 王慧, 朱艳春, 王丽嘉 2021 物理学报 70 228701Google Scholar

    Wang T T, Wang H, Zhu Y C, Wang L J 2021 Acta Phys. Sin. 70 228701Google Scholar

    [14]

    Schlemper J, Caballero J, Hajnal J V, Price A N, Rueckert D 2018 IEEE Trans. Med. Imaging 37 491Google Scholar

    [15]

    Shi J, Liu Q, Wang C, Zhang Q, Ying S, Xu H 2018 Phys. Med. Biol. 63 085011Google Scholar

    [16]

    Quan T M, Nguyen-Duc T, Jeong W K 2018 IEEE Trans. Med. Imaging 37 1488Google Scholar

    [17]

    Guo C L, Wu J, Rosenberg J T, Roussel T, Cai S H, Cai C B 2020 Magn. Reson. Med. 84 3192Google Scholar

    [18]

    Akkus Z, Galimzianova A, Hoogi A, Rubin D L, Erickson B J 2017 J. Digit. Imaging 30 449Google Scholar

    [19]

    Zhang J, Wu J, Chen S J, Zhang Z Y, Cai S H, Cai C B, Chen Z 2019 IEEE Trans. Med. Imaging 38 1801Google Scholar

    [20]

    Ronneberger O, Fischer P, Brox T 2015 18th International Conference on Medical Image Computing and Computer-Assisted Intervention (MICCAI) Munich, Germany, October 5–9, 2015 p234

    [21]

    Siddique N, Paheding S, Elkin C P, Devabhaktuni V 2021 IEEE Access 9 82031Google Scholar

    [22]

    Yang G, Yu S M, Dong H, Slabaugh G, Dragotti P L, Ye X J, Liu F D, Arridge S, Keegan J, Guo Y K, Firmin D 2018 IEEE Trans. Med. Imaging 37 1310Google Scholar

    [23]

    Liu F, Velikina J V, Block W F, Kijowski R, Samsonov A A 2017 IEEE Trans. Med. Imaging 36 527Google Scholar

    期刊类型引用(3)

    1. 蔡娟. 视觉传达TwostageNet模型的多特征纹理壁画图像超分辨率重建方法. 数学的实践与认识. 2024(01): 122-130 . 百度学术
    2. 井赛,王燕,赵晓辰,汪鹏飞. 磁共振成像设备伪影的形成机制及故障案例解决方案. 中国医学装备. 2024(07): 192-195 . 百度学术
    3. 宁欣宙,黄臻,陈西曲,刘鑫杰,陈罡,张志,鲍庆嘉,刘朝阳. 用于超快时空编码MRI的Transformer超分辨率重建算法研究. 波谱学杂志. 2024(04): 454-468 . 百度学术

    其他类型引用(1)

  • 图 1  本文所用SPEN MRI脉冲序列

    Fig. 1.  Pulse sequence of SPEN MRI used in this study.

    图 2  U-Net网络结构示意图

    Fig. 2.  Diagram of U-Net network structure.

    图 3  采用模拟样本训练U-Net的训练误差曲线和验证误差曲线

    Fig. 3.  The training error curve and validation error curve of U-Net trained with simulated samples.

    图 4  数值模拟结果, 红色矩形所围区域放大显示于相应图的右下角

    Fig. 4.  Numerical simulation results. The region enclosed by the red rectangle is enlarged and displayed in the lower right corner of the corresponding figure.

    图 5  不同成像序列和重建方法得到的水模图像, 红色矩形所围区域放大显示于相应图的左下角

    Fig. 5.  Water phantom images obtained by different imaging sequences and reconstruction methods. The region enclosed by the red rectangle is enlarged and displayed in the lower left corner of the corresponding figure.

    图 6  不同成像序列和重建方法得到的活体鼠脑图像

    Fig. 6.  In vivo rat brain images obtained by different imaging sequences and reconstruction methods.

    图 7  采用不同数量训练样本训练的5层U-Net网络重建的图像

    Fig. 7.  Images reconstructed by 5-layer U-Net trained with different amount of training samples.

    图 8  采用不同噪声水平样本训练的5层U-Net网络重建的水模图像

    Fig. 8.  Water phantom images reconstructed by 5-layer U-Net trained with samples having different noise levels.

  • [1]

    Shrot Y, Frydman L 2005 J. Magn. Reson. 172 179Google Scholar

    [2]

    Tal A, Frydman L 2006 J. Magn. Reson. 182 179Google Scholar

    [3]

    Solomon E, Avni R, Hadas R, Raz T, Garbow J R, Bendel P, Frydman L, Neeman M 2014 Proc. Nati. Acad. Sci. USA 111 10353Google Scholar

    [4]

    Ben-Eliezer N, Irani M, Frydman L 2010 Magn. Reson. Med. 63 1594Google Scholar

    [5]

    Chen Y, Li J, Qu X B, Chen L, Cai C B, Cai S H, Zhong J H, Chen Z 2013 Magn. Reson. Med. 69 1326Google Scholar

    [6]

    Cai C B, Dong J Y, Cai S H, Li J, Chen Y, Bao L J, Chen Z 2013 J. Magn. Reson. 228 136Google Scholar

    [7]

    Chen L, Li J, Zhang M, Cai S H, Zhang T, Cai C B, Chen Z 2015 Med. Image Anal. 23 1Google Scholar

    [8]

    Aliotta E, Nourzadeh H, Sanders J, Muller D, Ennis D B 2019 Med. Phys. 46 1581Google Scholar

    [9]

    Chun J, Zhang H, Gach H M, Olberg S, Mazur T, Green O, Kim T, Kim H, Kim J S, Mutic S, Park J C 2019 Med. Phys. 46 4148Google Scholar

    [10]

    Le M H, Chen J, Wang L, Wang Z, Liu W, Cheng K T, Yang X 2017 Phys. Med. Biol. 62 6497Google Scholar

    [11]

    Liu Y, Lei Y, Wang Y, Wang T, Ren L, Lin L, McDonald M, Curran W J, Liu T, Zhou J, Yang X 2019 Phys. Med. Biol. 64 145015Google Scholar

    [12]

    罗伶俐, 王远军 2020 中国医学物理学杂志 37 873Google Scholar

    Luo L L, Wang Y J 2020 Chin. J. Med. Phys. 37 873Google Scholar

    [13]

    王甜甜, 王慧, 朱艳春, 王丽嘉 2021 物理学报 70 228701Google Scholar

    Wang T T, Wang H, Zhu Y C, Wang L J 2021 Acta Phys. Sin. 70 228701Google Scholar

    [14]

    Schlemper J, Caballero J, Hajnal J V, Price A N, Rueckert D 2018 IEEE Trans. Med. Imaging 37 491Google Scholar

    [15]

    Shi J, Liu Q, Wang C, Zhang Q, Ying S, Xu H 2018 Phys. Med. Biol. 63 085011Google Scholar

    [16]

    Quan T M, Nguyen-Duc T, Jeong W K 2018 IEEE Trans. Med. Imaging 37 1488Google Scholar

    [17]

    Guo C L, Wu J, Rosenberg J T, Roussel T, Cai S H, Cai C B 2020 Magn. Reson. Med. 84 3192Google Scholar

    [18]

    Akkus Z, Galimzianova A, Hoogi A, Rubin D L, Erickson B J 2017 J. Digit. Imaging 30 449Google Scholar

    [19]

    Zhang J, Wu J, Chen S J, Zhang Z Y, Cai S H, Cai C B, Chen Z 2019 IEEE Trans. Med. Imaging 38 1801Google Scholar

    [20]

    Ronneberger O, Fischer P, Brox T 2015 18th International Conference on Medical Image Computing and Computer-Assisted Intervention (MICCAI) Munich, Germany, October 5–9, 2015 p234

    [21]

    Siddique N, Paheding S, Elkin C P, Devabhaktuni V 2021 IEEE Access 9 82031Google Scholar

    [22]

    Yang G, Yu S M, Dong H, Slabaugh G, Dragotti P L, Ye X J, Liu F D, Arridge S, Keegan J, Guo Y K, Firmin D 2018 IEEE Trans. Med. Imaging 37 1310Google Scholar

    [23]

    Liu F, Velikina J V, Block W F, Kijowski R, Samsonov A A 2017 IEEE Trans. Med. Imaging 36 527Google Scholar

  • [1] 贺芷椰, 张彦东, 唐春华, 李军利, 李四维, 于斌. 中继透镜分辨率在像素编码曝光成像中对图像重构质量的影响分析. 物理学报, 2023, 72(2): 024201. doi: 10.7498/aps.72.20221588
    [2] 郁钧瑾, 郭星奕, 隋怡晖, 宋剑平, 他得安, 梅永丰, 许凯亮. 超分辨率超快超声脊髓微血管成像方法. 物理学报, 2022, 71(17): 174302. doi: 10.7498/aps.71.20220629
    [3] 隋怡晖, 郭星奕, 郁钧瑾, Alexander A. Solovev, 他得安, 许凯亮. 生成对抗网络加速超分辨率超声定位显微成像方法研究. 物理学报, 2022, 71(22): 224301. doi: 10.7498/aps.71.20220954
    [4] 张航, 胡月姣, 陈嘉文, 修龙汪. 程能映射下配光平移群的深度神经网络实现. 物理学报, 2022, 71(13): 134201. doi: 10.7498/aps.71.20220178
    [5] 赵地, 赵莉芝, 甘永进, 覃斌毅. 基于支撑先验与深度图像先验的无预训练磁共振图像重建方法. 物理学报, 2022, 71(5): 058701. doi: 10.7498/aps.71.20211761
    [6] 高嵩, 曹文田, 黄新瑞, 包尚联. 硼中子俘获治疗中的含硼-10药物分布及浓度在体测量方法研究进展. 物理学报, 2021, 70(14): 148701. doi: 10.7498/aps.70.20201794
    [7] 蒋晓华, 薛芃, 黄伟灿, 李烨. 14 T全身超导MRI磁体的技术挑战 —大规模应用强场超导磁体未来十年的发展目标之一. 物理学报, 2021, 70(1): 018401. doi: 10.7498/aps.70.20202042
    [8] 赵地, 赵莉芝, 甘永进, 覃斌毅. 基于支撑先验与深度图像先验的无预训练磁共振图像重建方法. 物理学报, 2021, (): . doi: 10.7498/aps.70.20211761
    [9] 高强, 王晓华, 王秉中. 基于宽带立体超透镜的远场超分辨率成像. 物理学报, 2018, 67(9): 094101. doi: 10.7498/aps.67.20172608
    [10] 王心怡, 范全平, 魏来, 杨祖华, 张强强, 陈勇, 彭倩, 晏卓阳, 肖沙里, 曹磊峰. Fresnel波带片编码成像的高分辨重建. 物理学报, 2017, 66(5): 054203. doi: 10.7498/aps.66.054203
    [11] 杜晓纪, 王为民, 兰贤辉, 李超. 1.5 T关节磁共振成像超导磁体的设计、制作与测试. 物理学报, 2017, 66(24): 248401. doi: 10.7498/aps.66.248401
    [12] 胡洋, 王秋良, 李毅, 朱旭晨, 牛超群. 基于边界元方法的超导核磁共振成像设备高阶轴向匀场线圈优化算法. 物理学报, 2016, 65(21): 218301. doi: 10.7498/aps.65.218301
    [13] 方晟, 吴文川, 应葵, 郭华. 基于非均匀螺旋线数据和布雷格曼迭代的快速磁共振成像方法. 物理学报, 2013, 62(4): 048702. doi: 10.7498/aps.62.048702
    [14] 倪志鹏, 王秋良, 严陆光. 短腔、自屏蔽磁共振成像超导磁体系统的混合优化设计方法. 物理学报, 2013, 62(2): 020701. doi: 10.7498/aps.62.020701
    [15] 郭永峰, 谭建国. 一类非线性神经网络系统的超阈值随机共振现象. 物理学报, 2012, 61(17): 170502. doi: 10.7498/aps.61.170502
    [16] 张国庆, 杜晓纪, 赵玲, 宁飞鹏, 姚卫超, 朱自安. 基于0—1整数线性规划的自屏蔽磁共振成像超导磁体设计. 物理学报, 2012, 61(22): 228701. doi: 10.7498/aps.61.228701
    [17] 卢婧, 李昊, 何毅, 史国华, 张雨东. 超分辨率活体人眼视网膜共焦扫描成像系统. 物理学报, 2011, 60(3): 034207. doi: 10.7498/aps.60.034207
    [18] 周小荣, 罗晓曙, 蒋品群, 袁五届. 小世界神经网络的二次超谐波随机共振. 物理学报, 2007, 56(10): 5679-5683. doi: 10.7498/aps.56.5679
    [19] 陈杰夫, 刘婉秋, 钟万勰. Bloch方程的精细时程积分及其在射频脉冲设计中的应用. 物理学报, 2006, 55(2): 884-890. doi: 10.7498/aps.55.884
    [20] 张必达, 王卫东, 宋枭禹, 俎栋林, 吕红宇, 包尚联. 磁共振现代射频脉冲理论在非均匀场成像中的应用. 物理学报, 2003, 52(5): 1143-1150. doi: 10.7498/aps.52.1143
  • 期刊类型引用(3)

    1. 蔡娟. 视觉传达TwostageNet模型的多特征纹理壁画图像超分辨率重建方法. 数学的实践与认识. 2024(01): 122-130 . 百度学术
    2. 井赛,王燕,赵晓辰,汪鹏飞. 磁共振成像设备伪影的形成机制及故障案例解决方案. 中国医学装备. 2024(07): 192-195 . 百度学术
    3. 宁欣宙,黄臻,陈西曲,刘鑫杰,陈罡,张志,鲍庆嘉,刘朝阳. 用于超快时空编码MRI的Transformer超分辨率重建算法研究. 波谱学杂志. 2024(04): 454-468 . 百度学术

    其他类型引用(1)

计量
  • 文章访问数:  5830
  • PDF下载量:  145
  • 被引次数: 4
出版历程
  • 收稿日期:  2021-09-21
  • 修回日期:  2021-11-10
  • 上网日期:  2022-03-01
  • 刊出日期:  2022-03-05

/

返回文章
返回