针对多尺度分解(multi-scale decomposition,MSD)方法会导致图像细微组织结构丢失和产生噪声的问题,结合结构纹理分解模型、改进的卷积神经网络和相位一致性方法,提出1种新的多模态医学图像融合方法。首先,针对MSD容易产生噪声的问题,...针对多尺度分解(multi-scale decomposition,MSD)方法会导致图像细微组织结构丢失和产生噪声的问题,结合结构纹理分解模型、改进的卷积神经网络和相位一致性方法,提出1种新的多模态医学图像融合方法。首先,针对MSD容易产生噪声的问题,引入低通滤波器优化函数和结构纹理分解模型,有效解决了分解技术的难题;其次,对结构纹理部分设计1种基于卷积神经网络结合高斯平滑的融合方法,加强了对图像细节部分的提取,消除了噪声,并对高频部分引入基于相位一致性的改进方法进行融合;然后通过分解过程的逆变换得到最终的融合图像。定性、定量分析表明,所提出的算法在视觉效果、互信息(mutual information,MI)、特征互信息(feature mutual information,FMI)、结构相似性(structure similarity index measure,SSIM)、信息熵(entropy of information,EN)、峰值信噪比(peak signal to noise ration,PSNR)方面都达到了较高水平,融合后的图像更有利于专家和医生的诊断。展开更多
文摘针对多尺度分解(multi-scale decomposition,MSD)方法会导致图像细微组织结构丢失和产生噪声的问题,结合结构纹理分解模型、改进的卷积神经网络和相位一致性方法,提出1种新的多模态医学图像融合方法。首先,针对MSD容易产生噪声的问题,引入低通滤波器优化函数和结构纹理分解模型,有效解决了分解技术的难题;其次,对结构纹理部分设计1种基于卷积神经网络结合高斯平滑的融合方法,加强了对图像细节部分的提取,消除了噪声,并对高频部分引入基于相位一致性的改进方法进行融合;然后通过分解过程的逆变换得到最终的融合图像。定性、定量分析表明,所提出的算法在视觉效果、互信息(mutual information,MI)、特征互信息(feature mutual information,FMI)、结构相似性(structure similarity index measure,SSIM)、信息熵(entropy of information,EN)、峰值信噪比(peak signal to noise ration,PSNR)方面都达到了较高水平,融合后的图像更有利于专家和医生的诊断。
文摘利用多尺度特征策略进行特征提取的有效性不足是多模态医学图像融合领域存在的问题。为了增加融合结果的多尺结构信息,提出了一种基于残差多尺度网络(residual multi-scale network,Res2Net)、交错稠密网络和空间通道融合算法的多模态医学图像融合算法。Res2Net的编码器在提取多尺度特征时能保留更多语义信息;交错稠密网络减少了解码器和编码器之间的语义差异,丰富了融合图像的结构和细节信息;掩码鉴别器约束了脑瘤病灶区域,进一步提高了融合图像的质量;特征图通过空间通道融合算法融合减少了多模态图像之间的信息冗余。该算法在信息熵(entropy of information,EN)、互信息(mutual information,MI)、结构相似性(structure similarity index measure,SSIM)、多尺度结构相似性(multi scale structural similarity index measure,MI_SSIM)指标上拥有较高水平的性能表现,EN提高了6%,MI提高了3%。结果显示,所提出的算法在视觉感知和指标评估上达到了较高的融合质量。
