数据采集与处理  2018, Vol. 33 Issue (1): 1-11   PDF    
基于稀疏表示及正则约束的图像去噪方法综述
彭真明1 , 陈颖频1,2 , 蒲恬1 , 王雨青1 , 何艳敏1     
1. 电子科技大学信息与通信工程学院,成都,611731;
2. 闽南师范大学物理与信息工程学院,漳州,363000
摘要: 数据去噪声是信号和图像处理领域的一个经典问题,广泛应用于各类工程实践中。由于噪声源的多样性,去噪一直是富有挑战性且十分活跃的研究课题,发展了多种经典去噪方法。近年来,随着压缩感知理论的发展,基于稀疏表示及正则化约束反问题求解方法成为图像去噪领域的重要发展方向和技术途径。本文首先回顾和总结图像噪声的来源和类型,然后针对不同类型的图像噪声,重点围绕基于稀疏表示及正则化约束的图像去噪技术进行全面综述,分析和描述了几种主要去噪方法的原理及优缺点。最后,对去噪算法的性能评价指标进行总结。
关键词: 图像去噪    稀疏表示    字典学习    全变分    正则化约束    
Image Denoising Based on Sparse Representation and Regularization Constraint: A Review
Peng Zhenming1, Chen Yingpin1,2, Pu Tian1, Wang Yuqing1, He Yanmin1     
1. School of Information and Communication Engineering, University of Electronic Science and Technology of China, Chengdu, 611731, China;
2. School of Physics and Information Engineering, Minnan Normal University, Zhangzhou, 363000, China
Abstract: Data denoising is a classic issue in the field of signal and image processing which has been widely applied in various engineering practices. Due to the diversity of noise sources, denoising is a challenging and active research topic, and a variety of classical denoising methods have been developed. In recent years, with the development of compressed sensing theory, the methods for solving inverse problem based on sparse representation and regularization constraint have become important research directions and technical approaches in the field of image denoising. This paper firstly reviews and summarizes the sources and types of image noise, and then according to the different types of image noise, gives a comprehensive review focusing on the image denoising techniques based on sparse representation and regularization constraints. In addition, we analyze and describe the principle, advantages and disadvantages of several major denoising methods. Finally, the performance evaluation of denoising algorithm is summarized.
Key words: image denoising    sparse representation    dictionary learning    total variation    regularization constraint    
引言

噪声是数据采集、传输及处理等环节不可避免的问题。图像受到噪声污染则是引起图像退化和降质的主要因素,它产生于图像的采集、传输、加工、记录等过程。图像去噪之所以重要,原因是数据噪声广泛存在于各类工程实际问题,如采集环境、采集设备、测量误差及记数误差等。而且噪声是一个比较广泛的概念,有很多类型,都是图像中不希望出现的部分[1]。噪声的存在,会影响人们对感兴趣内容的观看和接收。因此,图像去噪在雷达探测、光电探测、地质勘探[2-5]、遥感应用[6]和医疗影像分析[7]等领域中均有广泛的应用前景。

由于噪声源的多样性,去噪一直是富有挑战性且十分活跃的研究课题,发展了多种经典去噪方法[8-26],如基于深度学习的图像去噪方法[22],基于信号滤波的算法[27]和基于奇异值分解(Singular value decomposition, SVD)的去噪方法[13, 28, 29]。随着压缩感知理论[30, 31]的发展,基于稀疏表示和约束正则化的图像去噪成为图像去噪中的最新发展方向和一项重要的技术途径[23-26]。大部分噪声具有随机性,而图像信号则在某些变换域中或者梯度域中存在明显的稀疏特性。另外,图像去噪恢复本质上也是一个典型的反问题求解过程, 因此稀疏表示和约束正则化自然成为了图像去噪、去模糊、修复及特征融合等诸多反问题求解的重要途径[3]。对高斯噪声抑制效果较好的稀疏约束方法有基于三维块匹配方法的去噪技术(Block matching 3D, BM3D)[32]、K奇异值分解方法(K-singular value decomposition, K-SVD)[29]和基于全变分(Total variation, TV)[8, 33-35]能量泛函技术的去噪方法等。值得注意的是,部分去噪方法仅对高斯噪声有较好的噪声抑制效果,对于其他类型的噪声,例如椒盐噪声、乘性噪声则效果一般。

由于图像存在某些变换域的稀疏性[10],稀疏表示及约束正则化是图像恢复与重建的重要技术途径。其中较为典型的稀疏约束有:多尺度小波变换域的稀疏约束和全变分域的稀疏约束。多尺度小波变换域通过一组过完备正交基对图像进行稀疏表示,在变换域中对图像进行稀疏约束,从而提高图像的恢复质量。然而,由于变换域中对某些系数直接通过硬阈值或者软阈值方法加以收缩,会导致空域中的振铃效应。全变分稀疏约束技术充分考虑到图像的梯度稀疏先验知识,并且能很好地应用于各类噪声的去除中,因此基于全变分能量泛函的去噪技术是一种重要的图像去噪方法分支,并且适用于多种类型噪声的图像去噪问题。然而,基于全变分恢复的图像存在较为严重的阶梯效应[34], 因此全变分方法出现许多变种,总结起来可以分为下列几类:(1)将差分算子加以推广,例如将横竖两方向的差分算子推广为多方向差分算子[35, 36],或将差分算子推广为分数阶差分算子[37, 38];(2)针对稀疏收缩算子加以改进,例如将基于L1范数的全变分推广为基于Lp伪范数[39-41]的全变分,提高对图像梯度稀疏性的刻画能力;(3)将一阶差分梯度推广为高阶差分梯度,例如广义全变分正则化[42];(4)将像素级别的梯度信息推广为交叠组合梯度信息,从而提高图像平滑区域与边缘区域之间的差异性,并有效抑制全变分的阶梯效应,例如交叠组稀疏全变分技术[43-45]

本文根据图像随机噪声的产生机理以及噪声幅度特点,总结了图像噪声的分类。然后详细综述各类基于稀疏表示及正则约束约束的图像去噪技术,分析各类技术的去噪机理及其优缺点,同时介绍了图像去噪的评价指标。最后,总结了各类图像去噪方法并讨论未来图像去噪技术的发展趋势。

1 图像噪声分类

图像噪声种类繁多,根据噪声幅度的概率密度函数(Probability density functions,PDF)分布情况可以分为:高斯噪声(Gaussian noise),瑞利分布噪声(Rayleigh noise),均匀分布噪声(Uniform noise),指数分布噪声(Exponential noise),椒盐噪声(Salt & Pepper noise)和伽马噪声(Gamma noise)等。一般情况下,最为常见的是频谱均匀分布的高斯白噪声。

按照噪声与有效信号之间的数据依赖关系,可以将噪声分类为加性噪声和乘性噪声。(1)加性噪声:每个像素的噪声不管输入信号的大小,噪声总是分别加入到信号中。(2)乘性噪声:例如光量子噪声、胶片颗粒噪声等,噪声受到信息本身的调制。为便于分析处理,常将被乘性噪声污染的信号取自然对数,从而将乘性噪声转化为加性噪声处理。

由于不同噪声特殊的统计特性,在针对不同的噪声类型时,往往需要进行不同的数学建模。例如去除零均值高斯白噪声时,往往采用L2范数对数据保真项进行建模。在进行椒盐噪声建模时,保真项的建模则可采用L1范数。

2 图像的稀疏表示及正则化约束去噪方法 2.1 全变分稀疏正则约束

假设噪声为加性高斯噪声,则基于各向异性TV(Anisotropic TV, ATV)去噪模型建模如下

$ \mathit{\boldsymbol{F}} = \arg \mathop {\min }\limits_\mathit{\boldsymbol{F}} \frac{1}{2}\left\| {\mathit{\boldsymbol{F}} - \mathit{\boldsymbol{G}}} \right\|_2^2 + \mu {R_{{\rm{ATV}}}}\left( \mathit{\boldsymbol{F}} \right) $ (1)

式中:FRN×N表示由去噪模型恢复出的图像;GRN×N表示被噪声污染的图像;$\frac{1}{2}\parallel \mathit{\boldsymbol{F - G}}\parallel _2^2 $为保真项;RATV(F)为各向异性全变分正则项; μ为保真项和正则项的平衡系数;‖·‖ 2表示矩阵的L2范数,具体定义为$ \parallel \mathit{\boldsymbol{F}}{\parallel _2} = \sqrt {\sum\limits_{i = 1}^N {\sum\limits_{j = 1}^N {F_{ij}^2} } } $

若加性噪声为椒盐噪声,由于椒盐噪声具有稀疏统计特性,则数据保真项需要用L1范数来刻画,数学建模需要修改为

$ \mathit{\boldsymbol{F}} = \arg \mathop {\min }\limits_\mathit{\boldsymbol{F}} \frac{1}{2}{\left\| {\mathit{\boldsymbol{F}} - \mathit{\boldsymbol{G}}} \right\|_1} + \mu {R_{{\rm{ATV}}}}\left( \mathit{\boldsymbol{F}} \right) $ (2)

式中RATV(F)定义如下

$ {R_{{\rm{ATV}}}}\left( \mathit{\boldsymbol{F}} \right) = {\left\| {{\mathit{\boldsymbol{K}}_{\rm{h}}} * \mathit{\boldsymbol{F}}} \right\|_1} + {\left\| {{\mathit{\boldsymbol{K}}_{\rm{v}}} * \mathit{\boldsymbol{F}}} \right\|_1} $ (3)

式中:Kh=[-1, 1]; ${\mathit{\boldsymbol{K}}_{\rm{v}}} = \left[\begin{array}{l} -1\\ 1 \end{array} \right] $分别表示横向和纵向差分卷积核; ‖·‖1表示矩阵的L1范数,具体定义为$\parallel \mathit{\boldsymbol{F}}{\parallel _1} = \sum\limits_{i = 1}^N {\sum\limits_{j = 1}^N {|{\mathit{\boldsymbol{F}}_{ij}}|} } $; 符号表示卷积操作符。ATV模型假设图像为分片常数,导致去噪结果存在比较严重的阶梯效应。

2.2 四方向全变分稀疏正则约束

传统的全变分模型仅考虑两方向的梯度信息,而四方向全变分(Quadruple total variation,QTV)模型则更加充分考虑了邻域梯度信息[35, 36]。下面用图 1来说明四方向全变分的去噪机理,一个点被重噪声污染的概率远远高于周围4个点都被重噪声污染的概率,因此考虑4个方向的梯度要比只考虑2个方向的梯度信息获得的重构图像效果更好。从图 1(a)中可以看到,传统的二方向全变分模型只能最小化横向和纵向梯度,从而对横向和纵向上的图像噪声加以抑制,但是对45°方向和135°方向的噪声则无能为力。而四方向梯度正则项能压制45°方向和135°方向的噪声,从而提高图像复原的质量。四方向全变分模型正则项定义为

$ {R_{{\rm{QTV}}}}\left( \mathit{\boldsymbol{F}} \right) = {\left\| {{\mathit{\boldsymbol{K}}_{\rm{h}}} * \mathit{\boldsymbol{F}}} \right\|_1} + {\left\| {{\mathit{\boldsymbol{K}}_{\rm{v}}} * \mathit{\boldsymbol{F}}} \right\|_1} + {\left\| {{\mathit{\boldsymbol{K}}_{{\rm{4}}{{\rm{5}}^ \circ }}} * \mathit{\boldsymbol{F}}} \right\|_1} + {\left\| {{\mathit{\boldsymbol{K}}_{{\rm{13}}{{\rm{5}}^ \circ }}} * \mathit{\boldsymbol{F}}} \right\|_1} $ (4)
图 1 两方向和四方向全变分正则项示意图 Fig. 1 Diagrammatic sketch of two-dimensional and quadruple total variation regular terms

式中:RQTV(F)表示四方向全变分正则项;${\mathit{\boldsymbol{K}}_{{\rm{45°}}}} = \left[{\begin{array}{*{20}{c}} 0&{-1}\\ 1&0 \end{array}} \right] $$ {\mathit{\boldsymbol{K}}_{135°}} = \left[{\begin{array}{*{20}{c}} {-1}&0\\ 0&1 \end{array}} \right]$表示对角线和反对角线差分卷积核。

Wu等人将四方向全变分正则项进一步推广为四方向分数阶全变分稀疏正则项[38],即充分发挥了四方向全变分正则项的抗噪能力,又发挥了分数阶差分算子缓解阶梯效应的能力,从而获得更好的去噪效果和更快的收敛速度。

值得注意的是,四方向全变分稀疏正则项还可以和交叠组稀疏正则、Lp伪范数收缩算子结合,组合形成新的稀疏正则约束。

2.3 交叠组稀疏正则约束

近年来,Selesnick和Chen提出了交叠组稀疏正则项(Overlapping group sparse total variation,OGSTV)[43-45]。该正则项是一种非分离正则项,能更好地保持目标函数的稀疏性[46]。交叠组稀疏正则项不仅仅考虑到图像差分域的稀疏性,还挖掘了每个点的邻域差分信息,从而挖掘了图像梯度的结构化稀疏特性。通过交叠组合梯度可以提高平滑区域与边界区域的差异,从而抑制TV模型的阶梯效应。Liu等借鉴Selesnick和Chen的工作,将一维交叠组稀疏正则项推广为二维交叠组稀疏正则项,并将其引入各向异性全变分模型,用于椒盐噪声的去噪和解卷积问题中[47]。Liu等将交叠组稀疏正则项用于Speckle噪声的去除[48]。交叠组稀疏全变分正则项定义如下[43-45]

$ {R_{{\rm{OGSTV}}}}\left( \mathit{\boldsymbol{F}} \right) = \varphi \left( {{\mathit{\boldsymbol{K}}_{\rm{h}}} * \mathit{\boldsymbol{F}}} \right) + \varphi \left( {{\mathit{\boldsymbol{K}}_{\rm{v}}} * \mathit{\boldsymbol{F}}} \right) $ (5)

式中:ROGSTV(F)表示交叠组稀疏正则项;$\varphi \left( \mathit{\boldsymbol{V}} \right) = \sum\limits_{i = 1}^K {\sum\limits_{j = 1}^K {\parallel {{\mathit{\boldsymbol{\tilde V}}}_{i, j, K, K}}{\parallel _2}} } $用于求解组合梯度,${\mathit{\boldsymbol{\tilde V}}} $ i, j, K, K的定义如下

$ {{\mathit{\boldsymbol{\tilde V}}}_{i,j,K,K}} = \left[ {\begin{array}{*{20}{c}} {{\mathit{\boldsymbol{V}}_{i - {K_l},j - {K_l}}}}&{{\mathit{\boldsymbol{V}}_{i - {K_l},j - {K_l} + 1}}}& \cdots &{{\mathit{\boldsymbol{V}}_{i - {K_l},j + {K_r}}}}\\ {{\mathit{\boldsymbol{V}}_{i - {K_l} + 1,j - {K_l}}}}&{{\mathit{\boldsymbol{V}}_{i - {K_l} + 1,j - {K_l} + 1}}}& \cdots &{{\mathit{\boldsymbol{V}}_{i - {K_l} + 1,j + {K_r}}}}\\ \vdots&\vdots&\ddots&\vdots \\ {{\mathit{\boldsymbol{V}}_{i + {K_r},j - {K_l}}}}&{{\mathit{\boldsymbol{V}}_{i + {K_r},j - {K_l} + 1}}}& \cdots &{{\mathit{\boldsymbol{V}}_{i + {K_r},j + {K_r}}}} \end{array}} \right] \in {{\bf{R}}^{K \times K}} $ (6)

式中:K为组合值大小;${K_l} = \left\lfloor {\frac{{K - 1}}{2}} \right\rfloor {\rm{ }};{\rm{ }}{K_r} = \left\lfloor {\frac{K}{2}} \right\rfloor ;{\rm{ }}x $表示小于或等于x的最大整数值。

从式(6)中可以看到,组合梯度$\sum\limits_{i = 1}^K {\sum\limits_{j = 1}^K {\parallel {{\mathit{\boldsymbol{\tilde V}}}_{i, j, K, K}}{\parallel _2}} } $已经将像素点邻域的梯度信息充分考虑,以二范数的方式将这些邻域像素点的梯度信息进行重组,从而提高平滑区域与图像边缘区域之间的差异性。为阐述这个问题,本文给出一个示意图,如图 2所示。假设图 2(a)表示图像的平滑区域的纵向梯度,且①,②两点被噪声重度污染。图 2(b)表示图像中边缘区域的纵向梯度,且无噪声污染,③,④两个像素点表示边缘区域的像素梯度。图 2中蓝色圈表示灰度值较低的像素点,红色圈表示灰度值较高的像素点。为方便讨论,本文假定蓝色区域的灰度值为0,红色区域的灰度值为1。图 2(a)中,如果采用传统的TV去噪方法,由于①,②两个像素点的灰度值与边界处③,④两个像素点梯度值相当,这两点就非常容易被错误地判定为图像边缘并被保留下来,噪声就无法有效去除。在传统TV模型中,讨论的4个点具有完全相同的横向差分和纵向差分。无论阈值取多大,4个点梯度都将出现一致的变化规律。

图 2 二维交叠组稀疏示意图 Fig. 2 Diagrammatic sketch of two-dimensional overlapping group sparsity

注意到平滑区域中,连续几个点同时被高噪声污染的概率极小,可以利用这种结构相似性对噪声加以去除。显然,根据式(6)得到的①,②像素的组合梯度为$\sqrt 2 $,而③, ④两个像素的梯度则是$\sqrt 5 $。此时,只要本文将阈值设定为$\sqrt 2 $,①, ②两个像素的噪声就能被很好地去除,与此同时,③, ④两个像素的梯度则被收缩为$\sqrt 5 - \sqrt 2 $,图像边界被很好地保留下来。综上所述,通过交叠组合方式计算像素点梯度时,可以凸显平滑区域的高噪污染点与边界区域像素点的差异性,从而更加鲁棒地进行去噪。利用L21范数收缩算子[49]来处理组合梯度或者优化最小化(Majorization-minimization,MM)算法[50]就可以求解交叠组稀疏去噪模型。

2.4 基于Lp伪范数的稀疏全变分正则约束

近年来,Lp伪范数[41, 51]的出现已经引起学术界的广泛注意。Lp伪范数相比于L1范数增加了一个自由度,能更好地刻画稀疏梯度信息。图 3给出基于L2L1Lp伪范数的各向异性全变分等高线${R_{{\rm{ApTV}}}}\left( \mathit{\boldsymbol{F}} \right)\parallel {\mathit{\boldsymbol{K}}_{\rm{h}}} * \mathit{\boldsymbol{F}}\parallel _p^p + \parallel {\mathit{\boldsymbol{K}}_{\rm{v}}} * \mathit{\boldsymbol{F}}\parallel _p^p\left( {0 < p \le 2} \right) $示意图,其中L2L1范数为Lp范数的特例,Lp范数定义为$\parallel \mathit{\boldsymbol{F}}{\parallel _p} = {(\sum\limits_{i = 1}^N {\sum\limits_{j = 1}^N {|{\mathit{\boldsymbol{F}}_{ij}}{|^p}} } )^{1/p}} $Lp伪范数定义为$\parallel \mathit{\boldsymbol{F}}\parallel _p^p = \sum\limits_{i = 1}^N {\sum\limits_{j = 1}^N {|{\mathit{\boldsymbol{F}}_{ij}}{|^p}} } $。图中假设图像被标准差为σ的高斯噪声所污染。可以发现,L2范数等高线与保真项$\frac{1}{2}\parallel \mathit{\boldsymbol{F - G}}\parallel _2^2 $的交点并不稀疏,而L1范数等高线与保真项的交点稀疏,但是易受噪声污染。Lp伪范数的等高线则对噪声更加鲁棒。

图 3 RApTV(F)的可行域 Fig. 3 Feasible domain of RApTV(F)

综上考虑,学者们将基于L1范数的各向异性全变分推广为如式(7)所示[40],并将参数p的范围限定为0<p<1。

$ {R_{{\rm{ApTV}}}}\left( \mathit{\boldsymbol{F}} \right) = \left\| {{\mathit{\boldsymbol{K}}_{\rm{h}}} * \mathit{\boldsymbol{F}}} \right\|_p^p + \left\| {{\mathit{\boldsymbol{K}}_{\rm{v}}} * \mathit{\boldsymbol{F}}} \right\|_p^p\;\;\;\;\;\;0 < p < 1 $ (7)

式中RApTV(F)表示基于Lp伪范数的各向异性总变分稀疏正则项。

2.5 广义全变分正则约束

前面讨论的各类全变分正则约束都是基于一阶梯度信息的稀疏约束,都一定程度受到阶梯效应的影响。为抑制阶梯效应和提高TV模型的去噪效果,Bredies, Kunisch和Pock提出广义全变分模型(Total generalized variation, TGV)[42]。二阶广义全变分稀疏正则约束,定义如下

$ \begin{array}{*{20}{c}} {{R_{{\rm{TG}}{{\rm{V}}_2}}}\left( \mathit{\boldsymbol{F}} \right) = \left[ {{\alpha _0}\left( {{{\left\| {{\mathit{\boldsymbol{K}}_{\rm{h}}} * \mathit{\boldsymbol{F}} - {\mathit{\boldsymbol{V}}_x}} \right\|}_1} + {{\left\| {{\mathit{\boldsymbol{K}}_{\rm{v}}} * \mathit{\boldsymbol{F}} - {\mathit{\boldsymbol{V}}_y}} \right\|}_1}} \right) + } \right.}\\ {\left. {{\alpha _1}\left( {{{\left\| {{\mathit{\boldsymbol{K}}_{\rm{h}}} * {\mathit{\boldsymbol{V}}_x}} \right\|}_1} + {{\left\| {{\mathit{\boldsymbol{K}}_{\rm{v}}} * {\mathit{\boldsymbol{V}}_y}} \right\|}_1} + {{\left\| {{\mathit{\boldsymbol{K}}_{\rm{v}}} * {\mathit{\boldsymbol{V}}_x} - {\mathit{\boldsymbol{K}}_{\rm{h}}} * {\mathit{\boldsymbol{V}}_y}} \right\|}_1}} \right)} \right]} \end{array} $ (8)

式中:RTGV2(F)表示二阶广义全变分正则项,Vx, VyRN×Nα0α1是控制一阶梯度和二阶梯度的平衡参数。

TGV模型考虑了二阶甚至高阶的梯度信息,能有效抑制阶梯效应。它同时约束了图像的一阶梯度与二阶梯度,从而有效缓解了全变分模型的阶梯效应。该模型是全变分模型的推广,具有凸性、下半连续性、旋转不变性等众多优秀的数学性质,并能逼近任意多项式[22],引起学者们的广泛关注,并将TGV正则项应用于众多领域。例如,Knoll, Bredies等将广义全变分模型用于核磁共振成像,取得较好的应用效果[52]。因此,TGV稀疏正则化技术逐渐成为图像与信号处理领域的新热点。

2.6 基于稀疏变换的图像去噪

变换域去噪技术是一种非常常见的去噪技术,这类技术充分考虑到噪声的随机性,从变换域中降低噪声的随机干扰。例如基于小波变换的硬阈值、软阈值技术,先将图像从空域映射到小波域,再对小波系数进行稀疏化操作,最终恢复空域图像。小波变换的小波基函数缺少多尺度、多角度的基函数,对图像细节的刻画能力有限。近年来,超小波的出现逐步弥补了小波变换的缺陷,基于曲波变换(Curvelet transform)[53]、轮廓波变换(Contourlet transform)[54]、剪切波变换(Shearlet transform)[55-57]等超小波的稀疏变换域去噪技术相继出现。图 4展示了超小波基函数与哈尔小波基函数之间的区别。显然,小波基函数对曲线的稀疏表示能力远远低于超小波。

图 4 小波基函数与超小波函数示意图 Fig. 4 Diagram matic sketch of wavelet basic function and beyond wavelet basic function

Dabov等提出BM3D算法[32],是一种典型的稀疏变换域去噪方法,这种方法主要有两个阶段操作:(1)搜索图像中不同位置的相似块,如图 5中的“R”方块,将相似块组合成三维块矩阵,然后进行三维稀疏变换,在小波变换域中进行硬阈值滤波[58],完成图像基本估计;(2)在第一阶段基本估计的基础上,再重新进行块匹配,获得新的三维矩阵,然后结合第一阶段中的三维块矩阵进行小波变换域的协同维纳滤波,最终将三维矩阵进行三维小波逆变换,逐块估计并利用维纳滤波的结果进行加权聚合估计,最后将图像恢复。BM3D的实现框图详见图 5图 5中,红色实线表示输入的信号为含噪声图像,红色虚线表示由含噪声图像得到的三维块矩阵。蓝色实线表示输入的信号为基本估计图像,蓝色虚线表示由基本估计图像得到的三维块矩阵。

图 5 BM3D去噪示意图 Fig. 5 Diagrammatic sketch of BM3D denoising

近年来提出的重加权最小核范数(Weighted nuclear norm minimization, WNNM)方法[59]和基于自适应簇字典的双向低秩表示去噪方法[60]将图像进行奇异值分解,在变换域中进行奇异值阈值收缩,从而实现图像的去噪,本质上也属于基于稀疏变换的去噪方法。

2.7 基于稀疏字典学习的图像去噪

前面讨论的各类稀疏约束图像去噪技术,尤其是基于变换域的稀疏约束方法,其稀疏表示字典往往是固定的。基于字典学习的稀疏约束图像去噪方法突破了字典固定的局限性。在对图像稀疏表示后,固定稀疏表示系数,然后更新字典,并自适应地学习字典,使得字典对图像的稀疏表示能力得以提高。图 6给出3种字典,其中图 6(ab)是离散余弦变换(Discrete cosine transform, DCT)字典和哈尔小波字典,而图 6(c)则是通过K-SVD方法获得的学习字典。通过数据驱动得到的字典能更好地表征图像细节,从而获得更好的稀疏表示结果。

图 6 固定字典与学习字典 Fig. 6 Fixed dictionaries and learning dictionaries

字典学习也是稀疏描述方法的一个核心问题,字典由一些典型的模式或者基本元素组成。在稀疏方法中,为一个图像重建问题学习合适的字典将会获得比固定字典更好的效果。目前,字典学习已经在图像去噪、图像超分辨率重建和图像修复等领域得到很好的应用。字典学习问题简单介绍如下,记P=[p1, p2, …, pM]∈Rm×M,是一个M个列向量组成的数据集。D=[d1, d2, …, dK]∈ Rm×K是一个含K个元素的字典。每个数据向量pi(表示原图中第i个图像块)可以由字典中少量原子进行稀疏表示,即pi=i,其中αiRK×1。令矩阵G=[α1, α2, …, αN]∈RK×M。稀疏建模的目的是学习字典D,使得XDG,同时要保证对于绝大部分图像块,其线性表示系数αi是稀疏的。在固定字典D时,对系数矩阵G的计算称为稀疏编码阶段。反过来,固定稀疏矩阵G时,更新字典D的过程就是字典学习阶段。因此,字典学习本质上是稀疏编码和字典更新的交替迭代过程。本文将字典学习的数学建模总结为

$ \left( {{\mathit{\boldsymbol{D}}^ * },{\mathit{\boldsymbol{G}}^ * }} \right) = \mathop {\arg \min }\limits_{\mathit{\boldsymbol{D}},\mathit{\boldsymbol{G}}} \left\| {\mathit{\boldsymbol{DG}} - \mathit{\boldsymbol{P}}} \right\|_2^2 + \mu {\left\| \mathit{\boldsymbol{G}} \right\|_0} $ (9)

式中‖·‖0L0范数,具体表示矩阵或向量中非零元素的个数。基于奇异值分解技术的K-SVD[29]方法是字典学习的经典方法之一,目前已经广泛应用于图像去噪、超分辨率图像重建等领域。

3 噪声衰减质量评价

数据去噪算法的性能评价方法和量化指标很多,依据不同应用领域强调的评价模型和指标各异。其中,最常用的评价指标有峰值信噪比(Peak signal to noise ratio, PSNR),结构相似性(Structural similarity, SSIM),相对误差(Relative error, RE)及实时性等[61]。PSNR,SSIM及RE如式(10~12)所示。

$ {\rm{PSNR}}\left( {\mathit{\boldsymbol{X}},\mathit{\boldsymbol{Y}}} \right) = 10\lg \frac{{{{\left( {\max \left( \mathit{\boldsymbol{X}} \right)} \right)}^2}}}{{\frac{1}{{{N^2}}}\sum\limits_{i = 1}^N {\sum\limits_{j = 1}^N {{{\left( {{X_{ij}} - {Y_{ij}}} \right)}^2}} } }} $ (10)

式中:X是原图;Y是重建图像。

$ {\rm{SSIM}}\left( {\mathit{\boldsymbol{X}},\mathit{\boldsymbol{Y}}} \right) = \frac{{\left( {2{u_\mathit{\boldsymbol{X}}}{u_\mathit{\boldsymbol{Y}}} + {{\left( {L{k_1}} \right)}^2}} \right)\left( {2{\sigma _{\mathit{\boldsymbol{XY}}}} + {{\left( {L{k_2}} \right)}^2}} \right)}}{{\left( {u_\mathit{\boldsymbol{X}}^2 + u_\mathit{\boldsymbol{Y}}^2 + {{\left( {L{k_1}} \right)}^2}} \right)\left( {\sigma _\mathit{\boldsymbol{X}}^2 + \sigma _\mathit{\boldsymbol{Y}}^2 + {{\left( {L{k_2}} \right)}^2}} \right)}} $ (11)

式中:uXX的平均值;uYY的平均值;σX2X的方差;σY2Y的方差;σXYXY的协方差。L为图像最大灰度;k1k2是用来维持分母非零的常数。

$ {\rm{RE}}\left( {\mathit{\boldsymbol{X}},\mathit{\boldsymbol{Y}}} \right) = \frac{{{{\left\| {\mathit{\boldsymbol{X}} - \mathit{\boldsymbol{Y}}} \right\|}_2}}}{{{{\left\| \mathit{\boldsymbol{X}} \right\|}_2}}} $ (12)

实际应用中采用哪一种评价方式,则取决于具体需求。

4 结束语

针对图像中的随机噪声,本文重点论述了基于稀疏表示和正则化约束去噪的原理和关键技术。最后给出各种去噪方法的去噪评价指标。

基于稀疏表示的不同去噪方法从不同角度加以考虑。例如四方向全变分域稀疏去噪技术主要考虑了像素相邻4点同时受到重噪声污染的概率较小,以此为出发点来进行去噪。基于Lp伪范数的全变分稀疏约束的图像去噪技术则从梯度的稀疏性角度增强了对图像梯度信息的刻画能力。而广义全变分稀疏约束方法则对一阶梯度进行稀疏约束的同时,再进行了二阶甚至高阶梯度的稀疏约束。交叠组稀疏正则约束则充分考虑了邻域组合梯度,提高平滑区域与边缘区域的差异性。BM3D充分考虑图像的非局部相似信息,进行二阶段的三维协同滤波。从上述讨论可以看到,各种方法的研究出发点不同,其优势也有所不同,甚至可以互补。例如广义全变分正则项就没有考虑到利用Lp伪范数来刻画一阶、二阶梯度信息,因此完全可以考虑将广义全变分正则项与Lp伪范数收缩算子结合起来,形成一种新的正则约束项。Zhang等将这种基于Lp伪范数的新型广义全变分应用于医学层析成像中[62]。BM3D方法在小波域中进行了硬阈值滤波的操作,不可避免地出现局部的振铃效应,超小波域稀疏约束去噪方法也存在类似问题。而利用各类全变分技术则能够有效压制由硬阈值滤波引起的振铃效应,所以将全变分稀疏约束引入到BM3D或者超小波稀疏约束中也是一种非常好的去噪思路。因此,综合多种稀疏约束方法来进行去噪,效果会更明显。

参考文献
[1]
章毓晋. 图像工程技术选编[M]. 北京: 清华大学出版社, 2016: 1-239.
Zhang Yujin. Selection of image engineering[M]. Beijing: Tsinghua University Press, 2016: 1-239.
[2]
彭真明, 肖慈珣, 朱文革, 等. 改进的f-x 域预测滤波及其应用[J]. 物探化探计算技术, 1999, 21(2): 145-150.
Peng Zhenming, Xiao Cixuan, Zhu Wenge, et al. Improved f-x domain predictive filter and its application[J]. Computing Techniques for Geophysical and Geochemical Exploration, 1999, 21(2): 145-150.
[3]
彭真明, 李亚林, 李健, 等. 用提升法小波分析进行地震信号的噪声衰减[J]. 天然气工业, 2006, 37(7): 40-42.
Peng Zhenming, Li Yalin, Li Jian, et al. Noise attenuation of seismic signal by lifting wavelet analysis[J]. Natural Gas Industry, 2006, 37(7): 40-42.
[4]
彭建亮, 彭真明, 张杰, 等. 基于分数域自适应滤波的地震信号去噪方法[J]. 地球物理学进展, 2012, 27: 1730-1737.
Peng Jianliang, Peng Zhenming, Zhang Jie, et al. De-noising method of seismic signal based on adaptive filtering in fractional domain[J]. Progress in Geophysics, 2012, 27: 1730-1737. DOI:10.6038/j.issn.1004-2903.2012.04.054
[5]
岳碧波, 彭真明. 基于快速Myriad滤波方法的地震数据去噪[J]. 石油物探, 2014, 53: 516-522.
Yue Bibo, Peng Zhenming. Random seismic noise attenuation via fast Myriad filter[J]. Geophysical Prospecting for Petroleum, 2014, 53: 516-522. DOI:10.3969/j.issn.1000-1441.2014.05.003
[6]
Lu T, Li S, Fang L, et al. Spectral-spatial adaptive sparse representation for hyperspectral image denoising[J]. IEEE Transactions on Geoscience and Remote Sensing, 2016, 54(1): 373-385. DOI:10.1109/TGRS.2015.2457614
[7]
Zhao W, Lu H. Medical image fusion and denoising with alternating sequential filter and adaptive fractional order total variation[J]. IEEE Transactions on Instrumentation and Measurement, 2017, 66(9): 2283-2294. DOI:10.1109/TIM.2017.2700198
[8]
Buades A, Coll B, Morel J-M. A review of image denoising algorithms, with a new one[J]. Multiscale Modeling & Simulation, 2005, 4(2): 490-530.
[9]
Mairal J, Bach F, Ponce J, et al. Non-local sparse models for image restoration[C]// 2009 IEEE 12th International Conference on Computer Vision. Kyoto, Japan: IEEE, 2009: 2272-2279.
[10]
Dong W, Zhang L, Shi G, et al. Nonlocally centralized sparse representation for image restoration[J]. IEEE Transactions on Image Processing, 2013, 22(4): 1620-1630. DOI:10.1109/TIP.2012.2235847
[11]
Xu J, Zhang L, Zuo W, et al. Patch group based nonlocal self-similarity prior learning for image denoising[C]// Proceedings of the IEEE International Conference on Computer Vision. Chile: IEEE, 2015: 244-252.
[12]
Luo E, Chan S H, Nguyen T Q. Adaptive image denoising by targeted databases[J]. IEEE Transactions on Image Processing, 2015, 24(7): 2167-2181. DOI:10.1109/TIP.2015.2414873
[13]
Guo Q, Zhang C, Zhang Y, et al. An efficient SVD-based method for image denoising[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2016, 26(5): 868-880. DOI:10.1109/TCSVT.2015.2416631
[14]
Liu H, Xiong R, Zhang J, et al. Image denoising via adaptive soft-thresholding based on non-local samples[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Boston, MA, USA: IEEE, 2015: 484-492.
[15]
Talebi H, Zhu X, Milanfar P. How to SAIF-ly boost denoising performance[J]. IEEE Transactions on Image Processing, 2013, 22(4): 1470-1485. DOI:10.1109/TIP.2012.2231691
[16]
Zoran D, Weiss Y. From learning models of natural image patches to whole image restoration[C]// 2011 IEEE International Conference on Computer Vision (ICCV). Washington, DC, USA: IEEE, 2011: 479-486.
[17]
Chatterjee P, Milanfar P. Patch-based near-optimal image denoising[J]. IEEE Transactions on Image Processing, 2012, 21(4): 1635-1649. DOI:10.1109/TIP.2011.2172799
[18]
Zhang X, Feng X, Wang W. Two-direction nonlocal model for image denoising[J]. IEEE Transactions on Image Processing, 2013, 22(1): 408-412. DOI:10.1109/TIP.2012.2214043
[19]
Knaus C, Zwicker M. Dual-domain image denoising[C]//2013 20th IEEE International Conference on Image Processing (ICIP). Melbourne, VIC, Australia: IEEE, 2013: 440-444.
[20]
Zhang L, Dong W, Zhang D, et al. Two-stage image denoising by principal component analysis with local pixel grouping[J]. Pattern Recognition, 2010, 43(4): 1531-1549. DOI:10.1016/j.patcog.2009.09.023
[21]
何艳敏, 甘涛, 彭真明. 基于稀疏表示的图像去噪理论与应用[M]. 成都: 电子科技大学出版社, 2016: 1-160.
He Yanmin, Gan Tao, Peng Zhenming. Theory and application of image denoising based on sparse representation[M]. Chengdu: University of Electronic Science and Technology Press, 2016: 1-160.
[22]
Zhang K, Zuo W, Chen Y, et al. Beyond a gaussian denoiser: Residual learning of deep cnn for image denoising[J]. IEEE Transactions on Image Processing, 2017, 26(7): 3142-3155. DOI:10.1109/TIP.2017.2662206
[23]
彭真明, 景亮, 何艳敏, 等. 基于多尺度稀疏字典的多聚焦图像超分辨融合[J]. 光学精密工程, 2014, 22: 169-176.
Peng Zhenming, Jing Liang, He Yanmin, et al. Superresolution fusion of multi-focus image based on multiscale sparse dictionary[J]. Optics and Precision Engineering, 2014, 22: 169-176.
[24]
何艳敏, 甘涛, 陈武凡. 基于稀疏表示的两级图像去噪[J]. 电子与信息学报, 2012, 34: 2268-2272.
He Yanmin, Gan Tao, Chen Wufan. Two level image denoising based on sparse representation[J]. Journal of Electronics & Information Technology, 2012, 34: 2268-2272.
[25]
He Y, Gan T, Chen W, et al. Multi-stage image denoising based on correlation coefficient matching and sparse dictionary pruning[J]. Signal Processing, 2012, 92(1): 139-149. DOI:10.1016/j.sigpro.2011.06.014
[26]
Han J, Yue J, Zhang Y, et al. Local sparse structure denoising for low-light-level image[J]. IEEE Transactions on Image Processing, 2015, 24(12): 5177-5192. DOI:10.1109/TIP.2015.2447735
[27]
Karami A, Tafakori L. Image denoising using generalised Cauchy filter[J]. IET Image Processing, 2017, 11(9): 767-776. DOI:10.1049/iet-ipr.2016.0554
[28]
He Y, Gan T, Chen W, et al. Adaptive denoising by singular value decomposition[J]. IEEE Signal Processing Letters, 2011, 18(4): 215-218. DOI:10.1109/LSP.2011.2109039
[29]
Aharon M, Elad M, Bruckstein A. K-SVD: An algorithm for designing overcomplete dictionaries for sparse representation[J]. IEEE Transactions on Signal Processing, 2006, 54(11): 4311-4322. DOI:10.1109/TSP.2006.881199
[30]
Baraniuk R G. Compressive sensing[J]. IEEE Signal Processing Magazine, 2007, 24(4): 118-121. DOI:10.1109/MSP.2007.4286571
[31]
Donoho D L. Compressed sensing[J]. IEEE Transactions on Information Theory, 2006, 52(4): 1289-1306. DOI:10.1109/TIT.2006.871582
[32]
Dabov K, Foi A, Katkovnik V, et al. Image denoising with block-matching and 3D filtering[C]//Proceedings of SPIE. [S. l. ]: SPIE, 2006: 606414-606414.
[33]
Rudin L I, Osher S, Fatemi E. Nonlinear total variation based noise removal algorithms[J]. Physica D: Nonlinear Phenomena, 1992, 60(1/2/3/4): 259-268.
[34]
Chambolle A. An algorithm for total variation minimization and applications[J]. Journal of Mathematical Imaging and Vision, 2004, 20(1): 89-97.
[35]
Sakurai M, Kiriyama S, Goto T, et al. Fast algorithm for total variation minimization[C]// 2011 18th IEEE International Conference on Image Processing (ICIP). Brussels, Belgium: IEEE, 2011: 1461-1464.
[36]
Liao F, Coatrieux J L, Wu J, et al. A new fast algorithm for constrained four-directional total variation image denoising problem[J]. Mathematical Problems in Engineering, 2015, 2-12.
[37]
Chen D, Sun S, Zhang C, et al. Fractional-order TV-L2 model for image denoising[J]. Central European Journal of Physics, 2013, 11(10): 1414-1422.
[38]
Wu L, Chen Y, Jin J, et al. Four-directional fractional-order total variation regularization for image denoising[J]. Journal of Electronic Imaging, 2017, 26(5): 053003.
[39]
Xie Y, Gu S, Liu Y, et al. Weighted Schatten p-norm minimization for image denoising and background subtraction[J]. IEEE Transactions on Image Processing, 2016, 25(10): 4842-4857. DOI:10.1109/TIP.2016.2599290
[40]
Sidky E Y, Chartrand R, Boone J M, et al. Constrained TpV minimization for enhanced exploitation of gradient sparsity: Application to CT image reconstruction[J]. IEEE Journal of Translational Engineering in Health and Medicine, 2014, 2: 1-18.
[41]
Zheng L, Maleki A, Weng H, et al. Does Lp-minimization outperform L1-minimization?[J]. IEEE Transactions on Information Theory, 2015, 63(11): 6896-6935.
[42]
Bredies K, Kunisch K, Pock T. Total generalized variation[J]. SIAM Journal on Imaging Sciences, 2010, 3(3): 492-526. DOI:10.1137/090769521
[43]
Liu J, Huang T Z, Selesnick I W, et al. Image restoration using total variation with overlapping group sparsity[J]. Information Sciences, 2015, 295: 232-246. DOI:10.1016/j.ins.2014.10.041
[44]
Chen P Y, Selesnick I W. Group-sparse signal denoising: Non-convex regularization, convex optimization[J]. IEEE Transactions on Signal Processing, 2014, 62(13): 3464-3478. DOI:10.1109/TSP.2014.2329274
[45]
Chen P Y, Selesnick I W. Translation-invariant shrinkage/thresholding of group sparse signals[J]. Signal Processing, 2014, 94: 476-489. DOI:10.1016/j.sigpro.2013.06.011
[46]
Selesnick I, Farshchian M. Sparse signal approximation via nonseparable regularization[J]. IEEE Transactions on Signal Processing, 2017, 65(10): 2561-2575. DOI:10.1109/TSP.2017.2669904
[47]
Liu G, Huang T Z, Liu J, et al. Total variation with overlapping group sparsity for image deblurring under impulse noise[J]. PloS One, 2015, 10(4): e0122562. DOI:10.1371/journal.pone.0122562
[48]
Liu J, Huang T Z, Liu G, et al. Total variation with overlapping group sparsity for speckle noise reduction[J]. Neurocomputing, 2016, 216: 502-513. DOI:10.1016/j.neucom.2016.07.049
[49]
Novosadová M, Rajmic P. Piecewise-polynomial curve fitting using group sparsity[C]// 2016 8th International Congress on Ultra Modern Telecommunications and Control Systems and Workshops (ICUMT). Lisbon, Portugal: IEEE, 2016: 320-325.
[50]
Sun Y, Babu P, Palomar D P. Majorization-minimization algorithms in signal processing, communications, and machine learning[J]. IEEE Transactions on Signal Processing, 2017, 65(3): 794-816. DOI:10.1109/TSP.2016.2601299
[51]
Woodworth J, Chartrand R. Compressed sensing recovery via nonconvex shrinkage penalties[J]. Inverse Problems, 2016, 32(7): 75004-75028. DOI:10.1088/0266-5611/32/7/075004
[52]
Knoll F, Bredies K, Pock T, et al. Second order total generalized variation (TGV) for MRI[J]. Magnetic Resonance in Medicine, 2011, 65(2): 480-491. DOI:10.1002/mrm.22595
[53]
Starck J L, Candès E J, Donoho D L. The curvelet transform for image denoising[J]. IEEE Transactions on Image Processing, 2002, 11(6): 670-684. DOI:10.1109/TIP.2002.1014998
[54]
Do M N, Vetterli M. The contourlet transform: An efficient directional multiresolution image representation[J]. IEEE Transactions on Image Processing, 2005, 14(12): 2091-2106. DOI:10.1109/TIP.2005.859376
[55]
Easley G, Labate D, Lim W Q. Sparse directional image representations using the discrete shearlet transform[J]. Applied and Computational Harmonic Analysis, 2008, 25(1): 25-46. DOI:10.1016/j.acha.2007.09.003
[56]
Kong D, Peng Z. Seismic random noise attenuation using shearlet and total generalized variation[J]. Journal of Geophysics and Engineering, 2015, 12(6): 1024-1035. DOI:10.1088/1742-2132/12/6/1024
[57]
Kong D, Peng Z, Fan H, et al. Seismic random noise attenuation using directional total variation in the shearlet domain[J]. Journal of Seismic Exploration, 2016, 25(4): 321-338.
[58]
Chang S G, Yu B, Vetterli M. Adaptive wavelet thresholding for image denoising and compression[J]. IEEE Transactions on Image Processing, 2000, 9(9): 1532-1546. DOI:10.1109/83.862633
[59]
Gu S, Zhang L, Zuo W, et al. Weighted nuclear norm minimization with application to image denoising[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Columbus, OH, USA: IEEE, 2014: 2862-2869.
[60]
Li X, Wang W, Feng X, et al. Image denoising via bidirectional low rank representation with cluster adaptive dictionary[J]. IET Image Processing, 2016, 10(12): 952-961. DOI:10.1049/iet-ipr.2016.0257
[61]
Wang Z, Bovik A C, Sheikh H R, et al. Image quality assessment: From error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612. DOI:10.1109/TIP.2003.819861
[62]
Zhang H, Wang L, Yan B, et al. Constrained total generalized p-variation minimization for few-view X-ray computed tomography image reconstruction[J]. PloS One, 2016, 11(2): e0149899. DOI:10.1371/journal.pone.0149899