网刊加载中。。。

使用Chrome浏览器效果最佳,继续浏览,你可能不会看到最佳的展示效果,

确定继续浏览么?

复制成功,请在其他浏览器进行阅读

基于自注意力机制的脑血肿分割和出血量测量算法  PDF

  • 李垚 1
  • 余南南 1
  • 胡春艾 2
  • 柯明池 3
  • 于金扣 1
1. 江苏师范大学电气工程及自动化学院,徐州 221116; 2. 徐州市中心医院,徐州 221009; 3. 宿迁市中西医结合医院,宿迁 223899

中图分类号: TP391

最近更新:2022-08-09

DOI:10.16337/j.1004⁃9037.2022.04.012

  • 全文
  • 图表
  • 参考文献
  • 作者
  • 出版信息
EN
目录contents

摘要

出血量是脑出血疾病分级、治疗方案确定和预后判断的重要指标。但由于大脑结构的复杂性、血肿形态和位置的多样性,在CT影像中准确可靠地分割血肿和测量出血量极为困难。本文提出一种基于自注意力机制深度学习网络的脑血肿分割和出血量测量算法。首先,为克服大脑结构的复杂性,弥补卷积模块只能进行线性运算和提取局部特征的缺点,在分割网络编码器末端引入自注意力模块,通过高阶运算,提取图像全域的特征关联特性,从全局角度提取血肿;然后引入通道和空间注意力模块,通过训练学习得到各个通道和特征区域上的权重,通过该权重突出有用信息,抑制无用信息;最后,根据脑出血患者多层CT影像切片的血肿分割结果,计算出血量。在真实脑出血CT影像数据集上的实验结果表明,本文算法在多种情况下的脑血肿分割和出血量测量上均取得了较好的效果,即使在形状不规则或贴近颅骨的情况下,本文算法仍然较为有效。

引 言

脑出血(Intracranial hemorrhage,ICH)是指人脑部动脉、静脉和毛细血管破裂导致的出血,现已成为导致患者死亡和残疾的最主要疾病之

1‑2。脑出血血肿体积是分级评分、判断血肿扩大和最终功能恢复程度的独立预测因素,也是外科手术指征之一。目前临床上主要应用多田氏公式(出血量=(最长径×垂直最长径×层厚)/2)进行出血量测量,但发现当血肿形状不规则和出血量较大时,估计误差较大,如出血量为50 ml时,多田氏公式的误差率为25.93%,尚不能达到临床应用要求。此外多田氏法需要医生手动选择出血量最大的切片,测量最长径和垂直最长径,消耗人力和时间较多。因此,快速而准确地自动测量出血量对脑出血的精准诊疗至关重要。临床上,由脑血管疾病专家或放射科医生手动对脑CT图像勾画血肿边界来进行分割是目前的标准做法。然而这项工作是一项耗时耗力且漫长的任务,并且由于脑部组织的复杂性导致的成像伪影以及操作者内部和操作者之间的差异性,主观性较强的手动分割在准确性上得不到保证。因此,迫切需要能够对脑血肿进行自动精准分割的方法。

很多研究人员尝试使用图像分割的方法实现脑血肿分割和出血量测量。Soroushmehr

3提出了利用高斯混合模型获取脑血肿区域的方法。Bardera4提出了基于阈值和区域增长算法的脑血肿分割方法。Liao5提出了用于脑出血区域分割的多分辨率二进制水平集算法。但这些传统图像分割方法需要高质量的标签标注和先验知识来保证分割结果的准确性,而脑血肿区域与周围组织对比度低和边界模糊的特点以及数据的稀缺性并不能很好地满足这个前提。

随着深度学习技术被广泛应用于自然语言处理、计算机视觉和模式识别等领域并取得了优异的成绩,一些研究人员通过全卷积网络 (Fully convolutional networks,FCN

6、SegNet7、U‑Net8等分割算法提高了脑血肿分割准确率。如Ironside9应用编解码卷积神经网络实现血肿的分割和出血量的测量,分割Dice系数为0.838±0.294,出血量相关系数为0.959。Arab10通过带深度监督的卷积神经网络分割脑血肿,得到Dice系数为0.84±0.06的分割效果。Yao11构建多视角卷积神经网络并应用于急性血肿分割,分割Dice系数为0.697,出血量相关系数为0.966。Zhang12应用基于类属图的UNet卷积网络分割脑出血血肿,分割Dice系数为0.623。

和传统图像分割方法相比,深度学习网络能够根据样本数据,端到端地学习到深层的特征表示,在一定程度上提升了分割效果,但由于大脑结构的复杂性、血肿形态和位置的多样性,现有方法准确性和可靠性尚不能满足临床要求。卷积神经网络对底层低级特征具有良好的提取能力,但受卷积核限制,只能进行线性运算和提取局部特征。文献[

13‑16]将自注意力模块引入到图像处理中,取得了很好的效果。自注意力模块通过高阶乘子运算,能够提取更加抽象的全域图像的特征,有利于根据全局的CT大脑影像提取血肿特征。因此,本文提出一种基于自注意力机制深度学习网络的脑血肿分割和出血量测量算法,在编码器末端引入自注意力模块充分获取更加抽象的脑出血血肿的特征。同时,在编解码跳跃连接上引入通道和空间注意力的串联模块,突出有用信息,抑制无用信息,尽量克服大脑复杂的结构对分割结构的影响,并统计脑出血患者多层CT影像切片的血肿分割结果,计算出血量。在徐州市中心医院获得的真实脑出血CT影像数据集上进行实验,以手动分割作为金标准,根据多种情况下的脑血肿分割和出血量测量结果,证明本文算法具有较高的准确性和可靠性。

1 本文脑血肿分割和出血量测量算法

1.1 数据采集与处理

本文将徐州市中心医院提供的452例脑出血患者7 600张CT的影像切片作为研究对象,包括脑实质出血、脑室出血、硬膜下出血和硬膜外下出血等。其中男性患者为286例,女性患者为166例,年龄区间为37~73岁。采用专业扫描装置DiscoveryNM/CT670获取CT数据并将原始数据转换成尺寸为512×512的PNG格式图像。每个像素的取值范围为0~255。同时由医院的资深影像专家进行真值标签标注和出血量标注,标签标注工作使用专业的图像标注工具Labelme来保证标签图像的准确性,出血量标注由3名专业医师分别记录血肿的最长直径、最短直径和层厚并根据多田氏公式计算出血量,最后取其平均值作为出血量真值。全部数据采用完全随机法分为训练集412例(6 940张切片)和测试集40例(660张切片)。采用水平和垂直方向上的移动和翻转数据增强方法以减少脑部出血区域的样本类别不平衡问题带来的干扰,增强有效样本和泛化能力。本文对医学数据的使用得到了徐州市中心医院的批准,符合伦理要求和管理规范。

1.2 网络模型

为了克服大脑复杂结构的血肿多样性对分割和出血量测量效果的影响,本文采用多种注意力机制改进现有的编解码网络。整体的网络框架如图1所示。网络分为编码器和解码器两个部分,分别进行4次特征提取的下采样和4次空间信息恢复的上采样。网络输入512×512的单通道原始灰度图,通过残差结

17块提取局部特征,通道数增加为64。通过2×2的最大池化操作下采样压缩特征维度,特征图尺寸减少为256×256。连续经过4次前述操作后获得通道数为512,尺寸为32×32。在编码器末端采用自注意力模块扩大图像提取的感受野。解码器每层由卷积块和双线性插值的上采样层组成,并通过通道和空间注意力模块与相应的解码器层相连。来自通道空间注意力模块的输出与解码器前一层的上采样输出进行通道拼接。解码器逐层使特征图尺寸增加一倍,通道数减少一半以恢复图像的空间信息。上采样的最终结果为512×512的单通道特征图,然后通过由3×3卷积和Sigmoid激活函数组成的分类层输出分割结果。

图1  网络结构

Fig.1  Network structure

自注意力机制源于自然语言处理领域提出Transformer模

18,通常用于改善棘手的长期依赖问题。引入到计算机视觉领域后,由于抛弃了卷积操作,在捕捉局部低级特征上能力不足。受此启发,本文将其与卷积神经网络相结合引入到脑血肿分割任务中,使得在特征提取过程中获得图像的远距离结构信息,继而提取全局上下文特征。自注意力模块由位于编码器底部的多个注意力头组成。其主要作用是通过在高级特征图中的每个元素之间建立联系来获得整张输入图像的感受野。所以在分割脑血肿区域时对输入图像的某个特定像素的分类决策会受到任意其他像素的影响。自注意力计算公式如下

Attention(Q, K, V) = SoftmaxQKTdkV = AV (1)

式中:Q为查询矩阵,K为键矩阵,V为值矩阵,A为注意力系数矩阵。

图1所示,自注意力模块的输入为高度为H,宽度为W,通道数为C的特征图X。为了考虑全局上下文信息,将位置编码信息与X相加。位置编码对于脑血肿分割具有重要意义,因为不同的脑部组织分别位于CT图像中不同的固定位置。在经过位置编码后就可以捕获脑部组织之间的绝对位置和相对位置信息。然后将X重塑为3个一维向量,分别为QKVA的实际含义为Q 中给定元素和K中所有元素相关性。根据自注意力公式计算值矩阵中元素的加权平均来得到最后的注意力输出,重塑后输出特征图Y。在本文的脑血肿分割任务中,QKV三个矩阵维度大小相同,分别为一维向量经过不同嵌入之后的结果。嵌入矩阵表示为WqWkWv

2 实验评估和分析

2.1 实验环境

本文实验使用NVIDA RTX 2060显卡,运行内存为16 GB,同时使用Pytorch作为深度学习框架,采用交叉熵损失函

19进行迭代训练和RMSProp20优化算法对梯度下降进行优化。考虑到计算资源有限,训练过程中批量处理大小(Batch size)设置为2,初始学习率(Learning rate)设置为0.000 1,迭代次数(Epoch)设置为50次。

2.2 对比实验

2.2.1 血肿分割对比

本文采用二值法(血肿像素值为1,非血肿像素值为0)对血肿进行分类,并使用3种经典评估指标评估网络分割性能,分别为体素相对误差(Relative volume difference,Rvd

21、骰子相似度系数(Dice similarity coefficient,Dice22和交并比(Intersection over union,IOU23。其中Rvd用于衡量两组像素之间的差异度,Dice和IOU用于比较两组像素的相似度。

表1给出了本文网络和FCN8s、SegNet以及U‑Net4种网络模型在测试集上分割结果的评估指标对比。可以看出,FCN8s性能最差,这表明它输出的预测结果与真实标签差异度较大,分割脑血肿的准确度较低。SegNet表现优于FCN8s,但分割结果依然不够精细。本文网络分割脑血肿的Rvd、Dice和IOU分别达到了0.177、0.856和0.782,而U‑Net的3种指标分别为0.208、0.833和0.747。与U‑Net相比,差异度显著下降了14.90%,而衡量相似度的Dice和IOU分别提高了2.76%和4.69%,显示了本文方法的有效性。

表1  4种网络模型分割结果性能对比
Table 1  Performance comparison of segmentation results of four network models
模型RvdDiceIOU
FCN8s 0.271 0.789 0.684
SegNet 0.238 0.810 0.712
U‑Net 0.208 0.833 0.747
本文模型 0.177 0.856 0.782

为了直观比较4种网络模型的分割性能,图2给出了脑血肿分割的可视化结果。本文选取了3种不同类型的血肿作为展示。其中图2(a)表示脑血肿的原始数据图像,图2(b)表示对应的真实标签图,绿色、黄色、品红色、红色和蓝色轮廓分别表示真值和4种网络模型的分割结果。可以看出,FCN8s、SegNet和U‑Net的分割在不同程度上均有明显的缺陷,而本文网络准确地分割出了血肿区域。FCN8s的输出过于平滑而没有精细的形状勾勒。SegNet相比于FCN8s分割出了较为完整的血肿轮廓,但存在明显的过分割和欠分割情况。U‑Net分割出的血肿区域相较于SegNet更为准确,但分割出的目标区域还有所残缺。

图2  4种网络模型分割结果二值图

Fig.2  Binary graph of segmentation results of four network models

2.2.2 出血量测量对比

本文分割结果均为二值图,因此血肿面积等于像素值为1的总和。然后根据分辨率对像素点进行点和英寸的转换。最后计算得到出血量,计算公式

24

HVs=H×n=1NSn (2)

式中:H为每层CT切片的厚度,N为切片数量,Sn为第n片切片的血肿面积。出血量测量性能方面,本文采用均方根误差(Root mean square error,RMSE)和平均绝对误差(Mean absolute error,MAE)作为评估指标。表2给出了本文网络和FCN8s、SegNet以及U‑Net4种网络模型在测试集上出血量测量的性能对比。可以看出,本文网络测量出血量的RMSE为4.618,MAE为3.614,性能优于前3种网络。相比于U‑Net,两种误差均显著下降。

表2  4种网络模型出血量测量性能对比
Table 2  Performance comparison of bleeding volume measurement of four network models
模型RMSEMAE
FCN8s 9.498 8.055
SegNet 8.707 7.153
U‑Net 7.479 5.741
本文模型 4.618 3.614

图3图4给出了4种网络模型出血量测量值曲线和误差曲线。可以看出,FCN8s、SegNet和U‑Net由于分割血肿不够精准,存在欠分割和过分割问题,因此在不同程度上均与真值偏离。相比于前3种网络模型,本文网络测量出的出血量更为接近真值,误差更小,波形更加平缓。

图3  4种网络模型出血量测量值曲线

Fig.3  Volume measurement curves of four network models

图4  4种网络模型出血量测量误差曲线

Fig.4  Error curves of four network models

2.2.3 不同类型血肿性能对比

为了验证本文方法对于不同类型血肿病例的鲁棒性,选取2种分割困难的血肿类型(不规则形状的血肿和靠近颅骨的血肿各20例)在U‑Net和本文网络模型下做血肿分割和出血量测量的性能对比。如表3表4所示,在不规则血肿组中,本文网络和U‑Net分割血肿的Rvd、Dice和IOU分别为0.201和0.234、0.838和0.813、0.756和0.718,出血量测量的RMSE和MAE分别为7.192和14.613、6.246和13.618。如表5表6所示,在靠近颅骨的血肿组中,本文网络和U‑Net分割血肿的Rvd、Dice和IOU分别为0.259和0.314、0.798和0.761、0.696和0.648,出血量测量的RMSE和MAE分别为14.787和19.872、12.062和16.542。

表3  2种网络模型对不规则血肿分割结果性能对比
Table 3  Performance comparison of two network models for segmentation results of irregular hematoma
模型RvdDiceIOU
U‑Net 0.234 0.813 0.718
本文模型 0.201 0.838 0.756
表4  2种网络模型对不规则血肿出血量测量性能对比
Table 4  Performance comparison of two network models for bleeding volume measurement of irregular hematoma
模型RMSEMAE
U‑Net 14.613 13.618
本文模型 7.192 6.246
表5  2种网络模型对靠近颅骨血肿分割结果性能对比
Table 5  Performance comparison of two network models for segmentation results of hematoma near skull
模型RvdDiceIOU
U‑Net 0.314 0.761 0.648
本文模型 0.259 0.798 0.696
表6  2种网络模型对靠近颅骨血肿出血量测量性能对比
Table 6  Performance comparison of two network models for bleeding volume measurement of hematoma near skull
模型RMSEMAE
U‑Net 19..872 16.542
本文模型 14.787 12.062

图5图6给出了输入不规则形状血肿和靠近颅骨血肿的情况下本文网络和U‑Net的分割结果对比。其中绿色、红色和蓝色轮廓分别表示真值和两种网络模型的分割结果。可以看出U‑Net在两种类型血肿上均存在明显的欠分割情况,而本文网络较准确地分割出了血肿区域,但对于个别血肿的分割遗漏了小部分区域。根据以上结果,两种类型血肿在不同程度上均难以分割,出血量均难于测量,靠近颅骨血肿的分割和出血量测量更为困难。而本文网络的下采样特征能力更强,上采样空间信息恢复更有效,因此其在不规则形状血肿和靠近颅骨血肿的性能表现均优于U‑Net。

图5  2种网络模型对不规则血肿分割结果二值图

Fig.5  Binary graph of segmentation results of irregular hematoma by two network models

图6  2种网络模型对靠近颅骨血肿分割结果二值图

Fig.6  Binary graph of segmentation results of hematoma near skull by two network models

2.3 消融实验

为了验证本文方法中各模块的有效性,表7给出了在U‑Net中依次添加每个模块的分割结果性能对比,其中SA、CA和SPA分别表示自注意力模块、通道注意力模块和空间注意力模块。从表7可以看出,3种模块均使网络性能有不同程度的提升,其中自注意力模块由于提取全局上下文特征,即提取范围更广的脑血肿区域特征,使网络的Rvd降低了10.58%,Dice提高了1.92%,IOU提高了3.21%。通道注意力模块和空间注意力模块在跳跃连接上过滤非必要特征信息,提高了上采样空间信息的恢复效率,使网络的Rvd降低了2.40%和1.92%,Dice提高了0.48%和0.36%,IOU提高了0.80%和0.67%。

表7  模块消融分割结果性能对比
Table 7  Performance comparison of module ablation segmentation results
SACASPARvdDiceIOU
0.186 0.849 0.771
0.181 0.853 0.777
0.177 0.856 0.782

3 结束语

本文提出了一种基于自注意力机制深度学习网络的脑血肿分割和出血量测量算法。该算法在经典U‑Net结构的基础上引入自注意力模块并保留卷积操作来同时提取局部低级特征和全局上下文特征。同时着眼于编码器高分辨率特征通过跳跃连接与解码器特征的拼接过程,引入通道和空间注意力模块进一步过滤非必要信息。实验结果表明,本文方法在徐州市中心医院提供的脑部数据集上获得了较好的准确性和鲁棒性。

参考文献

1

ZHAO W, WU C, STONE C, et al. Treatment of intracerebral hemorrhage current approaches and future directions[J]. Journal of the Neurological Sciences, 2020, 416: 117020. [百度学术] 

2

FEIGIN V L, FOROUZANFAR M H, KRISHNAMURTHI R, et al. Global and regional burden of stroke during 1990—2010: Findings from the global burden of disease study 2010[J]. The Lancet, 2014, 383(9913): 245-254. [百度学术] 

3

SOROUSHMEHR S M R, BAFNA A, SCHLOSSER S, et al. CT image segmentation in traumatic brain injury[C]//Proceedings of the 37th Annual International Conference of the IEEE Engineering in Medicine and Biology Society.[S.l.]: IEEE, 2015: 2973-2976. [百度学术] 

4

BARDERA A, BOADA I, FEIXAS S, et al. Semi-automated method for brain hematoma and edema quantification using computed tomography[J]. Computerized Medical Imaging and Graphics, 2009, 33(4): 304-311. [百度学术] 

5

LIAO C C, XIAO F, WONG J M, et al. Computer-aided diagnosis of intracranial hematoma with brain deformation on computed tomography[J]. Computerized Medical Imaging and Graphics, 2010, 34(7): 563-571. [百度学术] 

6

LONG J, SHELHAMER E, DARRELL T. Fully convolutional networks for semantic segmentation[EB/OL]. (2015-03-08)[2022-04-28]. http://arxiv.Org/abs/1411.4038v2. [百度学术] 

7

BADRINARAYANAN V, KENDALL A, CIPOLLA R. SegNet: A deep convolutional encoder-decoder architecture for image segmentation[EB/OL]. (2016-10-10)[2022-04-28]. http://arxiv.Org/abs/1511.00561. [百度学术] 

8

RONNEBERGER O, FISCHER P, BROX T. U-Net: Convolutional networks for biomedical image segmentation[C]//Proceedings of the 17th International Conference on Medical Image Computing and Computer-Assisted Intervention. [S.l.]: Springer, 2015: 234-241. [百度学术] 

9

IRONSIDE N, CHEN C J, MUTASA S, et al. Fully automated segmentation algorithm fort hematoma volumetric analysis in spontaneous intracerebral hemorrhage[J]. Stroke, 2019, 50(12): 3416-3423. [百度学术] 

10

ARAB A, CHINDA B, MEDVEDEV G, et al. A fast and fully-automated deep-learning approach for accurate hemorrhage segmentation and volume quantification in non-contrast whole-head CT[J]. Scientific Reports, 2020, 10(1): 1-12. [百度学术] 

11

YAO H, WILLIAMSON C, GRYAK J, et al. Automated hematoma segmentation and outcome prediction for patients with traumatic brain injury[J]. Artificial Intelligence in Medicine, 2020, 107: 101910. [百度学术] 

12

ZHANG G, CHO P C, CHEN K, et al. Lesion synthesis to improve intracranial hemorrhage detection and classification for CT images[J]. Computerized Medical Imaging and Graphics, 2021, 90: 101929. [百度学术] 

13

DOSOVITSKIY A, BEYER L, KOLESNIKOV A, et al. An image is worth 16×16 words: Transformers for image recognition at scale[EB/OL]. (2021-06-03)[2022-04-28]. http://arxiv.Org/abs/2010.11929. [百度学术] 

14

GIRDHAR R, CARREIRA J, DOERSCH C, et al. Video action transformer network[C]//Proceedings of 2019 IEEE Conference on Computer Vision and Pattern Recognition. [S.l.]: IEEE, 2019: 244-253. [百度学术] 

15

BILKHU M, WANG S Y, DOBHAL T. Attention is all you need for videos: Self-attention based video summarization using universal transformers[EB/OL]. (2019-06-06)[2022-04-28]. http://arxiv.Org/abs/1906.02792. [百度学术] 

16

ZHOU D, SHI Y, KANG B, et al. Refiner: Refining self-attention for vision transformers[EB/OL]. (2021-06-07)[2022-04-28]. http://arxiv.Org/abs/2106.03714. [百度学术] 

17

HE K M, ZHANG X Y, REN S Q, et al. Deep residual learning for image recognition[C]//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. [S.l.]: IEEE, 2016: 770-778. [百度学术] 

18

VASWANI A, SHAZEER N, PARMAR N, et al. Attention is all you need[EB/OL]. (2017-12-06)[2022-04-28]. http://arxiv.Org/abs/1706.03762. [百度学术] 

19

RUDER S. An overview of gradient descent optimization algorithms[EB/OL]. (2017-06-15)[2022-04-28]. http://arxiv.Org/abs/1609.06747. [百度学术] 

20

JADON S. A survey of loss functions for semantic segmentation[C]//Proceedings of 2020 IEEE Conference on Computational Intelligence in Bioinformatics and Computational Biology. [S.l.]: IEEE, 2020: 1-7. [百度学术] 

21

QIN X X, ZHU Y, ZHENG B B. Automated segmentation based on residual u-net model for mr prostate images[C]//Proceedings of the 11th International Congress on Image Signal Processing, BioMedical Engineering and Informatics. [S.l.]: IEEE, 2018: 1-6. [百度学术] 

22

ZHU M D, LI M, GENG Z, et al. Dice coefficient matching-based sparsity adaptive matching pursuit algorithm for the digital predistortion model pruning[C]//Proceedings of 2018 IEEE 18th International Conference on Communication Technology. [S.l.]: IEEE, 2018: 1032-1035. [百度学术] 

23

Yuan Y D, Chao M, Lo Y C. Automatic skin lesion segmentation using deep fully convolutional networks with jaccard distance[J]. IEEE Transactions on Medical Imaging, 2017, 36(9): 1876-1886. [百度学术] 

24

Hidayatullah R R, Sigit R, Wasista S. Segmentation of head CT-scan to calculate percentage of brain hemorrhage volume[C]//Proceedings of 2017 International Electronics Symposium on Knowledge Creation and Intelligent Computer. [S.l.]: IEEE, 2017: 301-306. [百度学术]