基于深度学习的多模态脑影像融合方法及其应用文献综述

 2022-01-08 08:01

全文总字数:4250字

文献综述

文 献 综 述人类脑结构和脑功能的复杂程度远远超出我们当前的认识能力,探索人类大脑的工作机制是21世纪科学领域最重大的挑战之一。

近年来,随着医学影像技术的成熟和发展,为我们提供了大脑多角度的解剖图像,如功能磁共振成像(functional magnetic resonance imaging, fMRI)[1]、结构性磁共振成像(structural magnetic resonance imaging, sMRI)[2]、正电子发射断层成像(positron emission tomography, PET)、计算机断层成像(computed tomography, CT)等,因此使用不同种影像技术为同一个对象收集多种模态数据的形式已经被研究人员广泛采用[3,4]。

各种模态从不同角度反映了大脑信息,但各有其优缺点,比如,结构图像(如 CT、sMRI)的分辨率较高,能清晰地反映器官的结构形态,但无法提供器官的功能信息;而功能图像(如 fMRI、PET)能准确地提供器官的新陈代谢信息,但分辨率较低无法显示器官和病灶部位的解剖细节。

不同模态的脑图像数据可以提供单一模态所缺少的补充信息,而这些补充信息极有可能帮助改善脑疾病诊断的性能。

根据医学图像信息表征层次和待融合的医学图像在整个融合系统中所处阶段的不同,可以将医学图像融合过程分为三个层次像素级(Pixel-level)[5]融合、特征级(Feature-level)[6,7]融合、决策级(Decision-level)[8]融合。

像素级(Pixel-level)融合是最低层次的融合方法,是在源图像的像素点上直接进行融合操作。

像素级融合直接在源图像的原始数据层上进行数据处理,因此,可以提供较为丰富、精确、可靠的数据信息,从而使得丢失的数据信息较少,有利于图像的进一步分析、处理和理解。

朱旭艳[9]采用加权平均法对MRI、PET及模板的3D图像进行两两融合,并设置不同的权重系数α判断不同权重下图像的融合情况。

陈琛[10]等对已配准好的PET图像和CT图像进行二维离散小波变换, 获得低频分量和高频分量,并对低频部分采用取平均值的融合方法, 对高频部分选用邻域能量、邻域方差和邻域梯度3种不同区域取最大值的融合方法。

剩余内容已隐藏,您需要先支付 10元 才能查看该篇文章全部内容!立即支付

免费ai写开题、写任务书: 免费Ai开题 | 免费Ai任务书 | 降AI率 | 降重复率 | 论文一键排版