网刊加载中。。。

使用Chrome浏览器效果最佳,继续浏览,你可能不会看到最佳的展示效果,

确定继续浏览么?

复制成功,请在其他浏览器进行阅读

二次稀疏极端通道先验盲超声图像去模糊  PDF

  • 马倩 1
  • 黄成泉 2
  • 郑泽鸿 2
1. 贵州民族大学数据科学与信息工程学院,贵阳550025; 2. 贵州民族大学工程技术人才实践训练中心,贵阳550025

中图分类号: TP391

最近更新:2022-10-11

DOI:10.16337/j.1004⁃9037.2022.05.014

  • 全文
  • 图表
  • 参考文献
  • 作者
  • 出版信息
EN
目录contents

摘要

模糊的超声图像经过极端通道先验去模糊后不够稀疏,导致极端通道稀疏约束可能不存在。因此,为了充分利用图像通道信息,通过增强去模糊后超声图像的稀疏性,提出一种二次稀疏极端通道先验盲超声图像去模糊算法。首先,给出了相关的理论证明和实验说明二次稀疏极端通道先验用于约束模糊超声图像的可行性;然后,充分利用暗通道和亮通道的先验信息,在交替迭代过程中采用半二次分裂方法估计中间图像和模糊核;最后,用傅里叶变换求得最终的清晰图像和模糊核。在超声图像集上的实验结果表明,本文提出的二次稀疏极端通道先验盲超声图像去模糊算法和其他超声图像去模糊方法相比更具可行性和优越性。

引 言

医学超声成像技术具有动态、三维观察器官病变、价格低廉、无需手术、对人体无害以及实时性强等优点。近年来,超声设备在临床医学中得到广泛应用,但在超声成像中会由于一些不可控因素导致扫描器官运动而引起图像模糊。随着数字图像去模糊技术的快速发展,如何利用数字图像处理技术来提高医学超声图像的质量逐渐引起人们的关注。文献[

1‑4]介绍了一些传统的图像去模糊算法:线性去模糊算法包括维纳滤波算法、约束最小二乘算法和总体变分法等;非线性去模糊算法包括基于贝叶斯理论框架下的最大后验去模糊算法和最大熵去模糊算法等。这些算法在超声图像去模糊上也取得了一定的效果。文献[5]将最优维纳滤波算法和用于抑制组织信号随机起伏的约束最小二乘算法相结合提出了一种新的组织信号模型。文献[6]针对散射体相对少的医学超声图像,提出一种快速有效的稀疏反卷积算法,提高了图像的分辨率且抑制了噪声。文献[7]利用Field Ⅱ超声仿真平台,对引起点扩散函数变化的参数进行了研究,并给出了相应的反卷积去模糊结果,得出横向聚焦和声速两个最重要的参数。文献[8]针对超声信号串扰、白噪声和通道对信号产生的影响提出了一种基于最大似然估计的超声图像反卷积算法,极大地改善了图像分辨率。文献[9]研究了一种后处理方法来反转超声成像的直接线性模型,能够计算范数正则随机共振问题的解析解。

在实际应用中,医学超声成像系统的退化过程难以精确地描述出来,所以通常采用盲图像去模糊算法。由于超声成像系统在成像过程中存在固有的问题,只能得到畸变的图像。为便于描述,本文将去模糊后的图像称为清晰图像,将图像暗通道的再次变暗称为二次稀疏暗通道,将图像亮通道的再次变亮称为二次稀疏亮通道。由于超声图像经过二次稀疏后,模糊超声图像与去模糊超声图像的差异将更加明显。本文提出了二次稀疏极端通道先验盲超声图像去模糊算法,用以提高极端先验知识的精度。本文通过均方误差(Mean squared error, MSE)来测量模糊核的精度,通过峰值信噪比(Peak signal to noise ratio, PSNR)和结构相似性指数(Structural similarity index, SSIM)对去模糊结果进行了客观评

10。由于超声成像系统只能获得畸变的图像,本文同时使用了分辨率增益(Resolution gain, RG)来进一步评估去模糊后的超声图像的质量。

本文主要贡献如下:(1)提出了图像二次稀疏暗亮通道理论;(2)在图像二次稀疏暗亮通道理论基础上提出二次稀疏极端通道先验;(3)将二次稀疏极端通道先验应用于模糊超声图像以展示本文所提方法去模糊的可行性和优异性。

1 理论基础

1.1 模糊图像基础

模糊图像的数学表达式可以表示为

Bx=Ixkz+nx (1)

式中:xΩIΩI为图像I的范围);Bx表示模糊图像;Ix表示清晰图像;zΩkΩk为图像k的范围);kz为模糊核;nx为噪声;为卷积算

11

定义1   对于图像I而言,卷积定义为

Bx=zΩkIx+s2-zkz (2)

式中:Ωk表示模糊核的范围,其大小为s;[•]表示舍入算

12。根据模糊核的性质,有kz0zΩkkz=1

1.2 暗通道理论基础

定义2   图像I的暗通道定义为

DIx=miny𝒩xminCr,g,bICy (3)

式中:xy表示图像的像素点;𝒩x是以x为中心的图像模块;IC为第C种颜色通道。如果I为灰度图像,则有DIx=minCr,g,bICy

定义3   图像I的二次稀疏暗通道定义为

SDIx=miny𝒩xDI(y) (4)

图1给出了模糊超声图像及模块大小为5×5的暗通道图像和二次稀疏暗通道图像,直观上可以看出二次稀疏暗通道图像更暗。

图1  模糊超声图像及其两种稀疏暗通道

Fig.1  Blurry ultrasound image and two kinds of sparse dark channels

图2给出了本文实验所用模糊超声图像数据集中所有模糊超声图像及其经去模糊后清晰图像暗通道的像素强度直方图(图2(a))和二次稀疏暗通道像素强度直方图(图2(b)),其横坐标表示像素强度,纵坐标表示像素强度对应的个数。从图2可以看出,模糊超声图像经二次稀疏暗通道所得结果较经暗通道所得结果有更多接近0的像素,即二次稀疏暗通道图像较暗通道图像更稀疏。

图2  两种暗通道的直方图对比

Fig.2  Histogram comparisons of two kinds of dark channels

1.3 亮通道理论基础

定义4   图像I的亮通道定义为

BIx=maxy𝒩xmaxCr,g,bICy (5)

如果I为灰度图

12,有BIx=maxCr,g,bICy

定义5   图像I的二次稀疏亮通道定义为

SBIx=maxy𝒩xBIy (6)

图3给出了模糊超声图像及模块大小为5×5的亮通道图像和二次稀疏亮通道图像,直观上可以看出二次稀疏亮通道图像更亮。

图3  模糊超声图像及其两种稀疏亮通道

Fig.3  Blurry ultrasound image and two kinds of sparse bright channels

图4给出了本文实验所用模糊超声图像数据集中所有模糊图像及其经去模糊后的清晰图像的亮通道的像素强度直方图(图4(a))和二次稀疏亮通道的像素强度直方图(图4(b))。从图4可以看出,模糊超声图像经二次稀疏亮通道所得结果较经亮通道所得结果有更多接近1的像素,即二次稀疏亮通道图像较亮通道图像更稀疏。

图4  两种亮通道的直方图对比

Fig.4  Histogram comparisons of two kinds of bright channels

1.4 二次稀疏极端通道先验

对于医学超声图像,暗通道和亮通道都有一定的局限性。结合1.2和1.3节分析,为了增强极端通道的稀疏性,本文提出了二次稀疏极端通道先验。二次稀疏极端通道先验主要解决了图像存在较多暗像素的问题。结合暗通道算

11和亮通道图像取反算12提出的二次稀疏极端通道先验模型为

pI=SDI0+1-SBI0 (7)

2 本文去模糊算法

将提出的二次稀疏极端通道先验项(式(7))引入图像去模糊框架中,则本文提出的图像去模糊目标函数变为

Î,k̂=argminI,kIk-B22+γpk+θpI (8)

式中:I表示清晰图像;B表示模糊图像;k表示模糊核;pkpI分别是模糊核先验与图像的二次稀疏极端通道先验;γθ为权重参数。

利用SDI0范数和1-SB(I)0范数分别度量二次稀疏暗通道和二次稀疏亮通道的稀疏性。同时本文使用L2范数作为数据保真度函数,可使去模糊图像和模糊核的卷积输出与模糊图像相似。对于模糊核的先验信息,通过快速傅里叶变换得到模糊核kL2

13‑17I0保留清晰的图像梯度,同时去除微小的梯度。模型(8)变为

Î,k̂=argminI,kIk-B22+γk22+μI0+λSDI0+η1-SBI0 (9)

式中γμλη为权重参数。

在文献[

111618]的基础上,本文提出了二次稀疏极端通道先验盲超声图像去模糊算法,算法流程如图5所示。

图5  本文算法流程图

Fig.5  Flow chart of the proposed algorithm

3 模型半二次分裂求解

由于模型(9)中清晰图像I和模糊核k未知,很难直接求出其解,因此本文采用了半二次分裂方

1219‑20和交替最小化方1117‑21,将模型(9)的优化问题变成2个子问题,交替求解中间图像Î和模糊核k̂

Î=argminIIk-B22+μI0+λSDI0+η1-SBI0 (10)
k̂=argminkIk-B22+γk22 (11)

3.1 清晰图像I的估计

为了解决子问题(10)中L0正则项难以计算的问题,本文使用变量分离的L0最小化方法。通过引入图像梯度的辅助变量g,二次稀疏暗通道与二次稀疏亮通道的梯度先验辅助变量pq

11‑12,子问题(10)成为

Î,ĝ,p̂,q̂=argminI,g,p,qIk-B22+αI-g22+βSDI-p22+ω1-SBI-q22+μg0+λp0+ηq0 (12)

式中αβωμλη为权重参数。容易看出,当这些权重参数趋近无穷大时,式(12)的解接近子问题(10)的解。因此,可以在固定其他变量的同时,通过交替最小化Ipqg来求解式(12)。关于中间图像Î的目标函数表达式成为

Î=argminIIk-B22+αI-g22+βSDI-p22+ω1-SBI-q22 (13)

式中SDSB为非线性运算。为了便于优化,本文将1-SB(I)转变为SD1-I以保持一致性。下面通过构造一个映射矩阵M来代替运算SDI。令u=argminw𝒩yIwy=argminz𝒩xIzM满足

Mx,z=1z=u0 (14)

M的构造式(14)可知,M的第x行乘以I可得出像素z的值,即MI=SDI。根据估计的中间图像,本文可以计算出对应于SDI1-SBI的两个映射矩阵MIM1-I。目标函数(13)可写为

Î=argminIIk-B22+αI-g22+βMII-p22+ωM1-I1-I-q22 (15)

用快速傅里叶变换求解式(19)

Î=-1k¯B+αg+βp+ωqk¯k+αI¯I+β+ω (16)

式中:g=Ih¯gh+Iv¯gvIhIv分别表示图像I的水平和垂直微分算子;·-1·分别表示快速傅里叶变换和逆快速傅里叶变换。

给定I,对于gpq的子问题分别用以下方法求解

ĝ=argmingαI-g22+μg0 (17)
p̂=argminpβSDI-p22+λp0 (18)
q̂=argminqα1-SBI-q22+ηq0 (19)

3.2 模糊核k的估计

给定I,子问题(11)中的模糊核估计是最小二乘问题。用梯度图像上梯度信息,对模糊核k̂进行了优化。因此,模糊核k̂估计方法为

k̂=argminkIk-B22+γk22 (20)

参照文献[

111216]方法,通过快速傅里叶变换可获得子问题(11)的解为

k̂=-1I¯BI¯I+γ (21)

在获得k之后,本文将k的负元素设为0,并将k归一化,使得k满足模糊核的性质。

4 实验分析

4.1 数据集来源

数据来自布尔诺理工大学信号处理实验室。数据库包含10名不同质量(平均质量76.5±9.7 kg)的志愿者(平均年龄27.5±3.5岁)的颈总动脉(Common carotid artery, CCA)图像。图像数据库中包含84张CCA纵切面B超图像。

4.2 实验参数

本文盲去模糊模型主要有4个参数:λμηγ,为了分析这几个参数的作用,对于每一个参数通过固定其他参数来验证其作用。通过实验验证,本文采用以下固定参数:μ=λ=η=0.004γ=2,同时模块大小ωI5

4.3 实验结果对比

为了说明本文所提算法的可行性和优异性,本节将该算法运行在CCA模糊超声图像数据集上进行测试,并与文献[

111215]去模糊算法进行比较,如图6所示,其中去模糊实验结果的右上角是相对应算法所估计出的模糊核(大小为5×5)。图6所示实验结果表明,本文算法对模糊超声图像进行去模糊是可行的,但文献[11]算法有明显的振铃现象,文献[12]算法有块效应。

图6  模糊超声图像去模糊结果对比

Fig.6  Comparisons of deblurring results for blurry ultrasound images

为进一步说明本文所提算法对模糊超声图像进行去模糊的优异性,本文将4种算法去模糊结果进行定量评价,评价结果如表1所示。从表1评价结果可以看出,本文算法在4种评价指标上都优于其他算法。特别地,本文算法能获得较低的MSE值,说明本文算法所得模糊核精度较其他算法高,对模糊核的估计较其他算法准确;本文算法能获得较高的RG值,说明本文算法对存在失真的模糊超声图像较其他算法能获得较好的去模糊图像。

表1  4种算法去模糊性能比较
Table 1  Deblurring performance comparisons of four algorithms
算法图6(a)模糊图像1图6(a)模糊图像2
MSEPSNRSSIMRGMSEPSNRSSIMRG
文献[11]算法 21.83 37.07 0.89 0.98 22.73 34.30 0.85 0.80
文献[12]算法 20.95 37.23 0.87 0.99 20.95 34.92 0.87 0.95
文献[15]算法 17.29 38.91 0.89 1.01 19.29 35.81 0.92 0.86
本文算法 15.42 41.10 0.90 1.05 17.57 36.20 0.95 0.98

图7给出表1中4种去模糊算法结果的MSE、PSNR、SSIM和RG评价直方图。由图7可以看出,在4种模糊图像去模糊算法中,本文所提算法能获得最高的PSNR、SSIM和RG平均值,这也说明本文算法对模糊超声图像进行去模糊是可行和优异的。

图7  4种算法在CCA数据集上去模糊结果评价指标直方图

Fig.7  Evaluation index histogram of deblurring results of four algorithms on CCA dataset

5 结束语

本文提出了二次稀疏极端通道先验盲超声图像去模糊方法。通过实验得知,二次稀疏模糊超声图像与二次稀疏清晰超声图像之间的差异更加明显。因此,将图像的二次稀疏暗通道和图像的二次稀疏亮通道相结合,得到二次稀疏极端通道先验,提高了极端通道先验知识的准确性。本文算法充分利用了暗亮通道先验信息,对利用暗亮通道信息进行模糊超声图像去模糊具有重要意义。由于亮通道和暗通道的二次稀疏性运算增加,使得本文算法运行时间增加。接下来将针对如何缩短本文算法运行时间展开研究。

参考文献

1

胡双年,李艳艳,牛玉俊.基于模糊核稀疏先验正则化图像盲复原处理[J].安徽大学学报(自然科学版), 2019, 43(6): 43-47. [百度学术] 

HU Shuangnian, LI Yanyan, NIU Yujun. Image blind restoration processing based on blur kernel sparse prior regularization [J]. Journal of Anhui University (Natural Sciences), 2019, 43(6): 43-47. [百度学术] 

2

孙成阳,毛家发,胡亚红,.基于RGB通道自适应的维纳滤波图像去模糊研究[J].计算机测量与控制,2019,27(11): 215-219, 238. [百度学术] 

SUN Chengyang, MAO Jiafa, HU Yahong, et al. Research on adaptive Wiener filtering image deblurring based on RGB channel[J]. Computer Measurement & Control, 2019, 27(11): 215-219, 238. [百度学术] 

3

余孝源, 谢巍, 陈定权,. 一种基于改进的暗通道先验的运动模糊核估计方法[J]. 控制与决策, 2020, 35(7): 134-140. [百度学术] 

YU Xiaoyuan, XIE Wei, CHEN Dingquan, et al. A motion blur kernel estimation method based on improved dark channel prior [J]. Control and Decision, 2020, 35(7): 134-140. [百度学术] 

4

肖宿. 基于稀疏先验正则化的图像盲去模糊[J]. 绥化学院学报, 2019, 39(2): 143-147. [百度学术] 

XIAO Su. Blind image deblurring based on sparse prior regularization[J]. Journal of Suihua University, 2019, 39(2): 143-147. [百度学术] 

5

YEOH W S, ZHANG C S, CHEN M. An iterative constrained least squares filter for ultrasound image deconvolution[C]//Proceedings of 2006 International Conference of the IEEE Engineering in Medicine and Biology Society. [S.l.]: IEEE, 2006: 2758-2761. [百度学术] 

6

OLOFSSON T, WENNERSTROM E. Sparse deconvolution of B-scan images[J]. IEEE Transactions on Ultrasonic Ferroelectrics and Frequency Control, 2007, 54(8): 1634-1640. [百度学术] 

7

SHIN H C, PRAGER R. Sensitivity to point spread function parameters in medical ultrasound image deconvolution[J]. Ultrasonics, 2009, 49(2): 344-357. [百度学术] 

8

PALLADINI A, TESTONI N, MARCHI L D, et al. A reduced complexity estimation algorithm for ultrasound images deblurring[J]. Computer Methods and Programs in Biomedicine, 2009, 95(2): S4-S11. [百度学术] 

9

ZHAO N N, WEI Q, BASARAB A, et al. Single image super-resolution of medical ultrasound images using a fast algorithm[C]//Proceedings of 2016 IEEE 13th International Symposium on Biomedical Imaging (ISBI). [S.l.]: IEEE, 2016: 473-476. [百度学术] 

10

涂春梅, 陈国彬, 刘超. 暗像素先验的模糊图像盲复原方法[J]. 计算机工程与应用, 2020, 56(10): 213-219. [百度学术] 

TU Chunmei, CHEN Guobin, LIU Chao. Blind restoration method of blurred image with dark pixel prior[J]. Computer Engineering and Application, 2020, 56(10): 213-219. [百度学术] 

11

PAN J S, SUN D Q, PFISTER H, et al. Blind image deblurring using dark channel prior[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. [S.l.]: IEEE, 2016: 1628-1636. [百度学术] 

12

YAN Y Y, REN W Q, GUO Y F, et al. Image deblurring via extreme channels prior[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. [S.l.]: IEEE, 2017: 4003-4011. [百度学术] 

13

YU X Y, XIE W. Single image blind deblurring based on salient edge-structures and elastic-net regularization[J]. Journal of Mathematical Imaging and Vision, 2020. DOI: 10.1007/s10851-020-00949-6. [百度学术] 

14

LIU Q H, SUN L P, SHAO Z G. Compound L0 regularization method for image blind motion deblurring[J]. Journal of Electronic Imaging, 2016, 25(5): 053013.1-053013.15. [百度学术] 

15

WEN F, YING R D, LIU Y P, et al. A simple local minimal intensity prior and an improved algorithm for blind image deblurring[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2020(99): 1. [百度学术] 

16

CHEN X, ZHU Q. A fast FFT-based iterative algorithm for image deblurring with anti-reflective boundary conditions[C]// Proceedings of the 2018 International Conference on Network, Communication, Computer Engineering (NCCE 2018). [S.l.]: Atlantis Press, 2018. [百度学术] 

17

HEHN L, TILLEY S, PFEIFFER F, et al. Blind deconvolution in model-based iterative reconstruction for CT using a normalized sparsity measure[J]. Physics in Medicine & Biology, 2019, 64(21): 215010. [百度学术] 

18

HU Z, CHO S, WANG J, et al. Deblurring low-light images with light streaks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. [S.l.]: IEEE, 2014: 3382-3389. [百度学术] 

19

SHU Q L, WU C S, ZHONG Q X, et al. Alternating minimization algorithm for hybrid regularized variational image dehazing[J]. Optik, 2019, 185: 943-956. [百度学术] 

20

CHENG K H, DU J, ZHOU H X, et al. Image super-resolution based on half quadratic splitting[J]. Infrared Physics & Technology, 2020: 103193. [百度学术] 

21

ZHANG H P, YUAN B, DONG B, et al. No-reference blurry image quality assessment by structural similarity index[J]. Applied Sciences, 2018, 8(10): 2003. [百度学术]