en
×

分享给微信好友或者朋友圈

使用微信“扫一扫”功能。
参考文献 1
谭娜⋅斯特海琪.图像融合:算法与应用[M].王强,刘燕,金晶,译.北京:国防工业出版社, 2015.
StathakiTania . Image fusion: Algorithms and applications [M]. Wang Qiang, Liu Yan, Jin Jing, translation. Beijing: National Defense Industry Press, 2015.
参考文献 2
PajaresG, CruzJ. A wavelet-based image fusion tutorial [J]. Pattern Recognition, 2004, 37(9):1855-1872.
参考文献 3
SmithM I, HeatherJ P. A review of image fusion technology in 2005[C]//Proc of SPIE. [S.l.]: SPIE, 2005, 5782: 29-45.
参考文献 4
黄慧,张宝辉,席峰,等.基于目标增强的红外与可见光图像融合技术研究[J].红外技术, 2017, 39(10): 908-913.
HuangHui, ZhangBaohui, XiFeng, et al. Research on infrared and visible image fusion technique based on target-enhancement [J]. Infrared Technology, 2017, 39(10): 908-913.
参考文献 5
DingW E, BiD Y, HeL Y, et al. Infrared and visible image fusion method based on sparse features [J]. Infrared Physics & Technology, 2018, 92(8): 372-380.
参考文献 6
ChenM S. Image fusion of visual and infrared image based on NSCT and compressed sensing [J]. Journal of Image and Graphics, 2016, 21(1): 39-44.
参考文献 7
YueC, LiuL, LiH, et al. A fusion algorithm for infrared and low light level images based on edge information and support value transform [J]. Infrared Physics & Technology, 2015, 71(7): 313-321.
参考文献 8
徐敏.基于分割与增强方法的红外与微光图像融合[J].软件导刊,2017,16(1): 170-173.
XuMin. Combined segmentation and enhancement methods to fuse the infrared and low light level images [J]. Software Guide, 2017, 16(1): 170-173.
参考文献 9
张宝辉,闵超波,窦亮,等.目标增强的红外与微光图像融合算法[J].红外与激光工程, 2014, 43(7): 2349-2353.
ZhangBaohui, MinChaobo, DouLiang, et al. Fusion algorithm of target enhancing infrared and low-level-light image[J]. Infrared and Laser Engineering, 2014, 43(7): 2349-2353.
参考文献 10
田思.微光与红外图像实时融合关键技术研究[D].南京:南京理工大学,2010.
TianSi. Key technologies of infrared and low-leve-light image real-time fusion [D]. Nanjing: Nanjing University of Science and Technology, 2010.
参考文献 11
赵康,吴谨.一种改进的基于区域梯度-能量的图像融合方法[J].液晶与显示, 2016, 31(3): 331-337.
ZhaoKang, WuJin. Improved image fusion algorithm based on regional gradient and regional energy [J]. Chinese Journal of Liquid Crystals and Displays, 2016, 31(3): 331-337.
参考文献 12
XuT, WangW W. A compressed sensing approach for underdetermined blind audio source separation with sparse representation[C]//IEEE Transaction on Statisitical Signal Processing. Cardiff: IEEE, 2009: 493-496.
参考文献 13
WillettR M, MarciaR F, NicholsJ N. Compressed sensing for practical optical imaging systems: A tutorial [J]. Optical Engineering, 2011, 50(7): 072601.
参考文献 14
陈博. 基于APD的光子计数成像系统的开发与实验研究[D].南京:南京理工大学,2012.
ChenBo. Development and experimental research of photon counting image system based on APD [D]. Nanjing: Nanjing University of Science and Technology, 2012.
参考文献 15
ChandanaM, AmuthaS, KumarN, et al. A hybrid multi-focus medical image fusion based on wavelet transform [J]. International Journal of Research and Reviews in Computer Science (URRCS), 2011, 12(4): 06892544.
参考文献 16
闫胜武.基于小波变换的图像融合技术研究[D].兰州:兰州大学,2012.
YanShengwu. A study of image fusion technology based on wavelet transform[D]. Lanzhou: Lanzhou University, 2012.
参考文献 17
李伟.像素级图像融合方法及应用研究[D].广州:华南理工大学,2006.
LiWei. Pixel level image fusion method and application[D]. Guangzhou: South China University of Technology, 2006.
参考文献 18
吴艳.多传感器数据融合算法研究[D].西安:西安电子科技大学,2003.
WuYan. Study of multisensory date fusion algorithms[D]. Xi’an: Xidian University, 2003.
参考文献 19
徐萌萌.基于小波变换的图像融合算法研究[D].哈尔滨:哈尔滨理工大学,2014.
XuMengmeng. The research of image fusion algorithm based on wavelet transform[D]. Harbin: Harbin University of Science and Technology, 2014.
目录 contents

    摘要

    为了得到融合效果更好的光子计数图像,提出一种改进区域能量融合规则的图像融合算法。由多像素光子计数器(Multi-piexl photon counter,MPPC)单一探测器在不同照度条件下扫描得到光子计数图像,并对其进行小波变换,得到高频图像和低频图像;然后计算两幅源图像高频部分的对应区域能量、邻域均方差、匹配度以及阈值,其中阈值是由局部图像的像素值和均值计算得到。如果匹配度大于或等于阈值,采用加权区域能量法确定融合图像;如果匹配度小于阈值,选取局部区域能量较大的源图像像素点的增强值作为相应融合图像中的像素点值。采用不同融合规则进行图像增强,结果证明在本文改进的融合规则下得到的光子计数图像细节更清晰,目标更易识别,评价指标中的信息熵、平均梯度以及空间频率的数值分别提高了约20%,25%和30%。

    Abstract

    In order to get photon counting fusion images with better effect, this paper proposes a fusion algorithm based on improved regional energy fusion rules. The photon counting images are obtained by the multi-pixel photon counter (MPPC) single detector in different illumination conditions, and the high-frequency and the low-frequency parts are obtained after wavelet transform of photon counting image. In the high-frequency part of the two source images, the energy of the corresponding region, neighborhood mean square, matching degree and threshold deviation are calculated. And the threshold is determined by pixel values and mean values of regional image. If the matching degree is greater than or equal to the threshold value, the weighted regional energy fusion method is used to solve it. Otherwise, the enhanced pixel value of source image with larger energy in local region is selected as pixel value in the corresponding fusion image. Using improved regional energy fusion rules for image fusion, it is proved that details of photon counting fusion image are clearer and target is easier to recognize,and the values of information entropy, average gradient and spatial frequency are about 20%, 25%, and 30% higher than those of regional energy fusion rules.

  • 引言

    光子计数图像是在极微弱光环境下获得的图像。随着微光夜视技术的发展,微光图像处理系统对极微弱光下所得图像融合的需求也在不断提升。图像融合是运用数学方法对获得的多幅源图像进行显著特征增强的过[1],由于多幅源图像之间可以相互补充,所以图像增强能降低融合图像不确定性和减少模糊度,同时提高融合图像信息的准确性和可靠性,形成对目标比较完整的描[2,3]。图像增强目的就是产生一个更易于理解的合成图像,这将有利于进行观察和目标识别。

    近年来,图像融合多应用于可见光图像与红外图[4,5,6]、微光图像和红外图[7,8]。其中,文献[8]将增强后的微光图像与红外图像进行融合,融合后的图像突出了目标;文献[9]通过对红外图像进行滤波处理后再与微光图像进行融合,融合后的图像提供了较丰富的背景信息,增强了目标信息。文献[10]提出了一种微光与红外图像的开窗融合技术方法,解决图像融合速度与图像融合质量的矛盾。文献[11]通过小波变换进行图像稀疏化,计算对应的梯度和能量值,采用绝对值取大法和加权平均法对图像进行融合,融合图像效果得到改善,但仍存在不清晰的现象。同时使用基于区域能量和基于区域梯度法融合规则进行的图像融合,得到融合图像亮度较高,但会出现比较严重的条纹噪声且图像轮廓不清[12,13]

    针对上述方法的不足,本文对基于区域能量的融合规则法进行改进,并应用于微光图像的融合。微光图像是在小于 10 - 1 勒克斯的微弱光照下得到的图像,成像器件多为像增强器和电荷藕合成像器件类。本文在 10 - 4 ~ 10 - 5 勒克斯的极微弱环境下,采用多像素光子计数器(Multi-piexl photon counter,MPPC)在不同光照度条件下得到光子计数图像,采用改进的区域能量融合规则对光子计数图像进行融合,得到的图像质量更高,目标轮廓更清晰,可辨别出图像中的目标。

  • 1 MPPC光子计数成像系统

    1
  • 1.1 MPPC光子计数实验平台

    1.1

    MPPC是滨松公司研发的一种由多个工作在盖革模式的APD像素组成的光子计数产品,具备高光子探测效率、高增益、精准的时间分辨率、宽光谱响应范围,以及可在低电压下工作等优点。为了研究光子计数图像处理技术,本文设计并搭建了光子计数实验平台,整个平台外带有黑箱。光子计数实验平台的原理框[14]如图1所示。图中,宽量程微光照度计用来读出实验环境下的光照度。

    图1
                            光子计数实验平台的原理框图

    图1 光子计数实验平台的原理框图

    Fig.1 Block diagram of photon counting experimental platform

    本文实验中使用1根光纤是为了提高光子计数图像扫描的分辨率。光纤的一端固定在二维平移台上方的光纤耦合器上,另一端与MPPC探测器探头连接,使光子通过光纤传入MPPC探测器像元内;计算机通过电缆线与MPPC探测器的USB口连接,并与步进电机控制器的串口相连,控制MPPC探测器的扫描,同时也控制着步进电机控制器的运[14]。光子计数实验平台的实物图如图2所示。

    图2
                            光子计数实验平台的实物图

    图2 光子计数实验平台的实物图

    Fig.2 Physical map of photon counting experimental platform

  • 1.2 MPPC光子计数成像实验平台的软件实现

    1.2

    实验平台的上位机软件采用MFC微软基础类库编写而成。软件通过串口向步进电机控制器发送控制指令,驱动步进电机的运动,完成MPPC探测器逐行逐点采集图像数据的工作,基本流程如图3所示。

    图3
                            光子计数成像平台的软件实现流程图

    图3 光子计数成像平台的软件实现流程图

    Fig.3 Software flow chart of photon counting experimental platform

    3中,初始化部分主要进行步进电机的速度参数和步长参数设定、MPPC探测器的参数初始化工作等。参数输入和读取部分主要进行基本的参数输入和步进电机的归零操作,以及将设定的参数正确地读取到步进电机。之后,程序开始进入循环,MPPC探测器开始逐行逐点采集图像数据,此过程所需时间由采集参数决定,数据采集过程耗时较长。数据全部采集完成后,程序将采集到的数据导入文本文件,然后通过MATLAB软件进行数据处理和图像恢复,以及其他图像处理的优化。最后,将生成的图像以及一些数据分析结果存入文件。

  • 2 光子计数图像融合

    2
  • 2.1 基于小波变换的图像融合

    2.1

    由于本文光子计数图像是由二维矩阵信息构成,所以对源图像进行二维的小波变换,即Mallat算法。光子计数源图像经过二维小波变换后,分别得到图像的高、低频部分。在 j 分辨率下可以将图像分解为如下4部[15] A j f 表示低频部分图像(用LL表示); D j + 1 1 f 表示在垂直方向上的高频部分图像(用LH表示); D j + 1 2 f 表示在水平方向上的高频部分图像(用HL表示); D j + 1 3 f 表示在对角线方向上的高频部分图像(用HH表示),如图4所示。

    图4
                            图像小波变换的塔形结构

    图4 图像小波变换的塔形结构

    Fig.4 Tower structure of image wavelet transform

    大多数的小波变换算法是将原来的图像分解成为一个大小递减的小波面。而在冗余小波变换的算法中,全部小波面的像素都相同,与原始图像一样,变换后的各频率子带图像与源图像大小相等,具有平移不变性。基于冗余小波变换的融合方法原理框图如图5所示。

    本文对低频图像进行像素平均的融合方法,对高频图像采用改进区域能量的融合规则进行图像融合。由于一个大小一定的区域内部包括多个像素点,区域能量融合规则需要考虑该区域内的所有像素点,避免了只考虑单独1个像素点产生的误差,提高了光子计数图像的融合效果。

    图5
                            基于冗余小波的图像融合方法示意图

    图5 基于冗余小波的图像融合方法示意图

    Fig.5 Image fusion based on redundant wavelet transform

  • 2.2 区域能量的融合规则

    2.2

    对同一融合方法采用不同的融合规则,将会得到不同效果的融合图像。目前小波域的融合规则有小波系数进行绝对值较大选择法、绝对值较小选择法和加权平均法等,都是对单个像素点进行处[16]。然而图像的细节特征通常是由多个像素点表征,单个像素点并不能表示出图像的某一细节,并且这些像素点集中分布在图像中的某一区域,像素点之间表现出较强的相关性。因此,图像融合如果只是简单地对单个像素点进行图像融合处理,融合后的图像会存在较大的误差,图像效果较差。区域能量融合规则的图像融合原[17]是对源图像进行变换,得到高、低频图像;然后计算两幅源图像中高频部分图像的局部区域能量,根据局部区域能量计算两幅源图像的匹配度,并与设定的阈值进行比较:当匹配度小于阈值时,表示在该区域中两幅源图像的能量差异较大,选取局部区域能量较大的图像像素点值;当匹配度大于或等于阈值时,说明两幅源图像在该区域上能量比较接近,采用加权融合规则进行图像融合。

    令源图像 A B j 分辨率下、 ε 方向上以 m , n 为中心的局部区域能量分别为 E j ε f A m , n E j ε f B m , n ,则 E j ε f ( A × B ) m , n 表示 A × B j 分辨率下、 ε 方向上以 m , n 为中心的局部区域的能量,由此可以确定两幅源图像对应局部区域的匹配度 M [18]

    M = 2 × E j ε f ( A × B ) m , n E j ε f A m , n + E j ε f B m , n ε = 1,2 , 3
    (1)

    式中 E j ε f A m , n E j ε f B m , n 以及 E j ε f ( A × B ) m , n 计算公式[19]

    E j ε f A m , n = i L , j K ω i , j D j ε f A n + i , m + j 2
    (2)
    E j ε f B m , n = i L , j K ω i , j D j ε f B n + i , m + j 2
    (3)
    E j ε f ( A × B ) m , n = i L , j K ω i , j D j ε f A n + i , m + j × D j ε f B n + i , m + j
    (4)

    式中: K L 表示局部区域的大小, m = 1,2 , 3 , , K n = 1,2 , 3 , , L f A m , n f B m , n 分别表示源图像 A 和源图像 B m , n 点的像素值; D j ε f A m , n D j ε f B m , n 表示源图像 A 和源图像 B 在3个方向的高频部分图像; ω i , j 为权系数,表达式为

    ω i , j = 1 16 1 2 1 2 4 2 1 2 1
    (5)

    区域能量的融合规则中阈值 T 根据多次实验效果设定为 T = 0.7 。匹配度与阈值进行比较,对图像进行融合。其中, f F m , n 表示融合后的光子计数图像。

    M < T ,则

    f F m , n = f A m , n E j ε f A m , n E j ε f B m , n f B m , n E j ε f A m , n < E j ε f B m , n
    (6)

    M T ,则

    f F m , n = ω A f A m , n + ω B f B m , n
    (7)

    式中 ω A ω B 为图像融合中的加权系[16],其值由局部区域能量决定,表达式为

    ω A = E j ε f A m , n E j ε f A m , n + E j ε f B m , n ω B = 1 - ω A
    (8)

    由于本文是对光子计数图像进行融合,而光子计数图像的亮度和对比度较低,对其进行基于区域能量融合规则的图像融合则效果不佳。因此本文在区域能量融合规则法的基础上,提出了改进的区域能量融合规则。

  • 2.3 改进的区域能量融合规则

    2.3

    文献[19]中图像融合原理是对源图像进行小波变换,得到高、低频分量,对低频分量进行邻域能量加权的融合方法;对高频分量进行邻域能量对比度取大法的融合方法。本文对区域能量融合规则进行改进,即对源图像中某一区域所有像素点进行能量和均方差计算,然后根据其局部区域能量决定两幅源图像的匹配度;当匹配度小于阈值时,图像融合规则选择能量大的区域像素点的增强值作为融合图像中相对应的像素点值,增强因子是由两幅源图像的相应邻域均方差决定;反之,当匹配度大于或等于阈值时,可采用加权区域能量法确定融合图像,其中加权系数是由两幅源图像的局部区域能量和阈值共同决定的,而阈值由两幅源图像的图像信息决定。图6为改进区域能量融合规则的图像融合基本原理框图。

    图6
                            改进区域能量融合规则的图像融合基本原理框图

    图6 改进区域能量融合规则的图像融合基本原理框图

    Fig.6 Basic principle block diagram of image fusion for improving regional energy fusion rules

    图像的邻域特性受多个因素的影响,其中局部区域能量和方差比较显著。局部区域均方差与图像细节的丰富程度有关,均方差值越大,表示图像细节越丰富。图像某点像素的增强值是由该点像素值与增强因子乘积决定,高频部分的像素增强值更能体现出图像的细节,具体评价参数为

    μ A = 1 K × L m = 1 K n = 1 L f A m , n μ B = 1 K × L m = 1 K n = 1 L f B m , n
    (9)
    σ A = 1 K × L m = 1 K n = 1 L ( f A m , n - μ A ) 2 σ B = 1 K × L m = 1 K n = 1 L ( f B m , n - μ B ) 2
    (10)
    ψ A = 2 σ A σ A + σ B ψ B = 2 σ B σ A + σ B
    (11)

    式中: μ A μ B 分别表示光子计数源图像 A B 的均值; σ A σ B 分别表示光子计数源图像 A B 的均方差; ψ A ψ B 表示光子计数源图像 A B 的增强因子。

    区域能量的融合规则中阈值 T 是根据多次实验效果设定的,没有考虑源图像本身的图像信息。如果不同的源图像进行图像融合时,阈值 T 相同会影响融合图像的融合效果。由于本文所设定的阈值 T 要与两幅源图像局部区域的匹配度进行比较,故需计算出与匹配度相对应的局部区域阈值。根据式(9)可以计算出与局部区域匹配度相对应的局部区域阈值为

    T = m = 1 K n = 1 L f A m , n - μ A f B m , n - μ B m = 1 K n = 1 L f A m , n - μ A 2 f B m , n - μ B 2
    (12)

    根据匹配度 M 和阈值 T 可以确定加权的系数为

    ω m i n = 1 2 1 - 1 - M 1 - T ω m a x = 1 - ω m i n
    (13)

    M < T ,则有

    f F m , n = ψ A f A m , n E j ε f A m , n E j ε f B m , n ψ B f B m , n E j ε f A m , n < E j ε f B m , n
    (14)

    M T ,则有

    f F m , n = ω m a x × f A m , n + ω m i n × f B m , n E j ε f A m , n E j ε f B m , n ω m i n × f A m , n + ω m a x × f B m , n E j ε f A m , n < E j ε f B m , n
    (15)
  • 3 实验分析

    3

    本文进行图像融合的计算机配置是Intel Corei5处理器,2 GB内存,融合算法仿真使用MATLABR2016a。实验选择两组图像分别是叶子图像和经典的Lena图像,经过光学实验平台探测得到相应的光子计数图像,如图712所示。每组两次实验中设置的SC步进电机的步长和速度相同,扫描点数和时间相同,只在光学实验平台中设定不同的微光照度,其中图7(a)和图10(a)中微光照度计测得的数值为 6.31 × 10 - 5 l x ,图7(b)和图10(b)中微光照度计测得的数值为 4.02 × 10 - 4 l x ,令得到的光子计数图像作为图像融合的源图像,按照融合规则1—3进行图像融合,并对融合后的图像进行主观和客观上的评价。其中,融合规则1为低频部分图像采用加权平均法,高频部分图像为小波系数取绝对值较大法;融合规则2为低频部分图像采用加权平均法,高频部分图像为区域能量融合法;融合规则3为低频部分图像采用加权平均融合法,高频部分图像采用改进区域能量法。

    图7
                            叶子源图像

    图7 叶子源图像

    Fig.7 Source images of Leaf

    图8
                            不同融合规则下的基于小波变换的叶子图像融合

    图8 不同融合规则下的基于小波变换的叶子图像融合

    Fig.8 Fusion of Leaf images based on wavelet transform under different fusion rules

    图9
                            不同融合规则下的基于冗余小波变换的叶子图像融合

    图9 不同融合规则下的基于冗余小波变换的叶子图像融合

    Fig.9 Fusion of Leaf images based on redundant wavelet transform under different fusion rules

    图10
                            Lena源图像

    图10 Lena源图像

    Fig.10 Source images of Lena

    图11
                            不同融合规则下的基于小波变换的Lena图像融合

    图11 不同融合规则下的基于小波变换的Lena图像融合

    Fig.11 Fusion of Lena images based on wavelet transform under different fusion rules

    图12
                            不同融合规则下的基于冗余小波变换的Lena图像融合

    图12 不同融合规则下的基于冗余小波变换的Lena图像融合

    Fig.12 Fusion of Lena images based on redundant wavelet transform under different fusion rules

    由2.3节改进的图像融合算法可看出,本文改进的融合算法计算量与已有的区域能量融合规则的计算量无较大区别。表1为不同融合规则生成融合图像所需时间。根据表1可以看出,图9(c)和图11(c)运行时间少于图9(a,b)和图11(a,b)的运行时间。总体来看,虽然本文融合算法步骤多于其他融合法,但是改进融合规则的计算简单,程序运行所需时间较短。

    表 1 不同融合规则下的融合运行时间(s)

    Tab. 1 Fusion run time under different fusion rules(s)

    图像

    8

    (a)

    图8(b)

    8

    (c)

    9

    (a)

    图9(b)

    9

    (c)

    图11(a)图11(b)图11(c)图12(a)图12(b)图12(c)
    时间4.263.693.154.433.873.286.816.295.767.016.255.92
    表 1
                    不同融合规则下的融合运行时间

    由融合图像可以看出:图8(a)和图9(a)中叶子图像出现块状模糊现象,图8(b, c)和图9(b, c)在主观视觉上没有很大区别,都较好地突出了叶子的细节部分,可以看出叶子的主经脉,但图(c)融合图像层次比图(b)更分明。图11和图12融合的Lena图像中,图(a)融合图像中出现马赛克现象,一些细节同时被模糊;图(b)融合效果好于图(a),没有出现模糊的块状,但是图像亮度较低;图(c)融合图像效果和图像质量好于其他融合图像,融合图像层次分明,图像纹理和细节比较清晰。从主观评价结果可以看出,采用基于区域能量的融合规则得到融合图像效果最好。

    由于主观评价会随着观察者的不同,对融合图像的效果评价产生较大误差。为了更精确地评价融合图像质量的优劣,采用均值、标准差、信息熵、平均梯度及空间频[19] 作为评价指标对图像进行客观的评价,具体结果如表2所示。从表2可以看出,图8(c)和图11(c)的信息熵、平均梯度和空间频率值大于同组的图(a,b)值,图9(c)和图12(c)的信息熵、平均梯度和空间频率也大于同组其他值,说明图像所含的信息越多,边缘信息以及细节越丰富,图像效果越好;而图(c)的标准差和均值居中,不是最大也不是最小,说明图(c)的融合图像有一定的反差、信息含量也较多,图像融合效果也较好。通过以上数据分析可以得出,采用改进区域能量融合规则的光子计数图像融合得到的信息熵、平均梯度和空间频率比其他融合图像提高了20%,25%,30%左右,图像质量和效果最好,边缘信息和纹理细节也比较明显。

    表 2 融合图像的评价指标

    Tab. 2 Evaluation index of fusion images

    图像均值标准差平均梯度信息熵空间频率

    图8(a)

    图8(b)

    图8(c)

    图9(a)

    图9(b)

    图9(c)

    图11(a)

    图11(b)

    图11(c)

    图12(a)

    图12(b)

    图12(c)

    54.06

    54.03

    54.04

    53.62

    54.57

    54.39

    93.26

    94.97

    94.79

    93.72

    95.43

    95.11

    45.45

    45.86

    45.69

    45.32

    45.97

    45.67

    54.68

    54.99

    54.91

    54.93

    55.71

    55.11

    4.00

    5.65

    6.90

    4.14

    6.80

    7.81

    6.53

    6.66

    7.93

    6.61

    6.92

    8.11

    6.19

    6.31

    7.41

    6.28

    6.40

    7.96

    7.15

    7.54

    9.80

    7.20

    7.76

    9.97

    10.68

    11.57

    13.97

    11.62

    12.85

    14. 90

    10.13

    12.99

    15.13

    10.57

    13.37

    15.96

    表 2
                    融合图像的评价指标
  • 4 结束语

    4

    本文针对不同光照度条件下得到的光子计数图像采用基于改进区域能量融合规则进行融合。实验结果表明,采用本文融合规则得到的光子计数融合图像,目标轮廓更加清晰可见,细节更明显,目标更易于识别;从客观评价指标也可以看出,融合图像的信息熵、平均梯度以及空间频率值都有所提高,融合图像效果更好。

  • 参考文献

    • 1

      谭娜 斯特海琪.图像融合:算法与应用[M].

      王强,刘燕,金晶,译.北京:国防工业出版社, 2015.

      Tania Stathaki . Image fusion: Algorithms and applications [M]. Wang Qiang, Liu Yan, Jin Jing, translation. Beijing: National Defense Industry Press, 2015.

    • 2

      Pajares G, Cruz J. A wavelet-based image fusion tutorial [J]. Pattern Recognition, 2004, 37(9):1855-1872.

    • 3

      Smith M I, Heather J P. A review of image fusion technology in 2005[C]//Proc of SPIE.

      [S.l.]: SPIE, 2005, 5782: 29-45.

    • 4

      黄慧,张宝辉,席峰,等.基于目标增强的红外与可见光图像融合技术研究[J].红外技术, 2017, 39(10): 908-913.

      Huang Hui, Zhang Baohui, Xi Feng, et al. Research on infrared and visible image fusion technique based on target-enhancement [J]. Infrared Technology, 2017, 39(10): 908-913.

    • 5

      Ding W E, Bi D Y, He L Y, et al. Infrared and visible image fusion method based on sparse features [J]. Infrared Physics & Technology, 2018, 92(8): 372-380.

    • 6

      Chen M S. Image fusion of visual and infrared image based on NSCT and compressed sensing [J]. Journal of Image and Graphics, 2016, 21(1): 39-44.

    • 7

      Yue C, Liu L, Li H, et al. A fusion algorithm for infrared and low light level images based on edge information and support value transform [J]. Infrared Physics & Technology, 2015, 71(7): 313-321.

    • 8

      徐敏.基于分割与增强方法的红外与微光图像融合[J].软件导刊,2017,16(1): 170-173.

      Xu Min. Combined segmentation and enhancement methods to fuse the infrared and low light level images [J]. Software Guide, 2017, 16(1): 170-173.

    • 9

      张宝辉,闵超波,窦亮,等.目标增强的红外与微光图像融合算法[J].红外与激光工程, 2014, 43(7): 2349-2353.

      Zhang Baohui, Min Chaobo, Dou Liang, et al. Fusion algorithm of target enhancing infrared and low-level-light image[J]. Infrared and Laser Engineering, 2014, 43(7): 2349-2353.

    • 10

      田思.微光与红外图像实时融合关键技术研究[D].南京:南京理工大学,2010.

      Tian Si. Key technologies of infrared and low-leve-light image real-time fusion [D]. Nanjing: Nanjing University of Science and Technology, 2010.

    • 11

      赵康,吴谨.一种改进的基于区域梯度-能量的图像融合方法[J].液晶与显示, 2016, 31(3): 331-337.

      Zhao Kang, Wu Jin. Improved image fusion algorithm based on regional gradient and regional energy [J]. Chinese Journal of Liquid Crystals and Displays, 2016, 31(3): 331-337.

    • 12

      Xu T, Wang W W. A compressed sensing approach for underdetermined blind audio source separation with sparse representation[C]//IEEE Transaction on Statisitical Signal Processing. Cardiff: IEEE, 2009: 493-496.

    • 13

      Willett R M, Marcia R F, Nichols J N. Compressed sensing for practical optical imaging systems: A tutorial [J]. Optical Engineering, 2011, 50(7): 072601.

    • 14

      陈博. 基于APD的光子计数成像系统的开发与实验研究[D].南京:南京理工大学,2012.

      Chen Bo. Development and experimental research of photon counting image system based on APD [D]. Nanjing: Nanjing University of Science and Technology, 2012.

    • 15

      Chandana M, Amutha S, Kumar N, et al. A hybrid multi-focus medical image fusion based on wavelet transform [J]. International Journal of Research and Reviews in Computer Science (URRCS), 2011, 12(4): 06892544.

    • 16

      闫胜武.基于小波变换的图像融合技术研究[D].兰州:兰州大学,2012.

      Yan Shengwu. A study of image fusion technology based on wavelet transform[D]. Lanzhou: Lanzhou University, 2012.

    • 17

      李伟.像素级图像融合方法及应用研究[D].广州:华南理工大学,2006.

      Li Wei. Pixel level image fusion method and application[D]. Guangzhou: South China University of Technology, 2006.

    • 18

      吴艳.多传感器数据融合算法研究[D].西安:西安电子科技大学,2003.

      Wu Yan. Study of multisensory date fusion algorithms[D]. Xi’an: Xidian University, 2003.

    • 19

      徐萌萌.基于小波变换的图像融合算法研究[D].哈尔滨:哈尔滨理工大学,2014.

      Xu Mengmeng. The research of image fusion algorithm based on wavelet transform[D]. Harbin: Harbin University of Science and Technology, 2014.

仲红玉

机 构:山东理工大学电气与电子工程学院,淄博,255049

Affiliation:School of Electrical and Electronic Engineering, Shandong University of Technology, Zibo, 255049, China

作者简介:

仲红玉(1990-),女,硕士研究生,研究方向:图像处理,E-mail:zhonghongyu-0827@163.com。

尹丽菊

机 构:山东理工大学电气与电子工程学院,淄博,255049

Affiliation:School of Electrical and Electronic Engineering, Shandong University of Technology, Zibo, 255049, China

作者简介:

尹丽菊(1972-),女,副教授,通信作者,研究方向:光电检测与成像,E-mail:LJYIN72@163.com。

胡浩东

机 构:山东理工大学电气与电子工程学院,淄博,255049

Affiliation:School of Electrical and Electronic Engineering, Shandong University of Technology, Zibo, 255049, China

作者简介:

胡浩东(1997-),男,本科生,研究方向:图像处理。

王炫

机 构:山东理工大学电气与电子工程学院,淄博,255049

Affiliation:School of Electrical and Electronic Engineering, Shandong University of Technology, Zibo, 255049, China

作者简介:

王炫(1995-),男,硕士研究生,研究方向:图像处理。

寇廷栋

机 构:山东理工大学电气与电子工程学院,淄博,255049

Affiliation:School of Electrical and Electronic Engineering, Shandong University of Technology, Zibo, 255049, China

作者简介:

寇廷栋(1997-),男,本科生,研究方向:图像处理。

潘金凤

机 构:山东理工大学电气与电子工程学院,淄博,255049

Affiliation:School of Electrical and Electronic Engineering, Shandong University of Technology, Zibo, 255049, China

作者简介:

潘金凤(1979-),女,讲师,研究方向:压缩感知信号处理、视频图像的低秩稀疏分解。

蔡富东

机 构:山东信通电子股份有限公司,淄博,255088

Affiliation:Shandong Senter Electronic Co., Ltd, Zibo, 255088, China

作者简介:

蔡富东(1974-),男,博士,总工程师,研究方向:图像处理相关技术研究与产品开发。

张黄群

角 色:中文编辑

Role:Editor

html/sjcjycl/201901012/alternativeImage/81ebbc49-562f-456a-9275-1e7d763b9253-F001.jpg
html/sjcjycl/201901012/alternativeImage/81ebbc49-562f-456a-9275-1e7d763b9253-F002.jpg
html/sjcjycl/201901012/alternativeImage/81ebbc49-562f-456a-9275-1e7d763b9253-F003.jpg
html/sjcjycl/201901012/alternativeImage/81ebbc49-562f-456a-9275-1e7d763b9253-F004.jpg
html/sjcjycl/201901012/alternativeImage/81ebbc49-562f-456a-9275-1e7d763b9253-F018.jpg
html/sjcjycl/201901012/alternativeImage/81ebbc49-562f-456a-9275-1e7d763b9253-F019.jpg
html/sjcjycl/201901012/alternativeImage/81ebbc49-562f-456a-9275-1e7d763b9253-F005.jpg
html/sjcjycl/201901012/alternativeImage/81ebbc49-562f-456a-9275-1e7d763b9253-F006.jpg
html/sjcjycl/201901012/alternativeImage/81ebbc49-562f-456a-9275-1e7d763b9253-F007.jpg
html/sjcjycl/201901012/alternativeImage/81ebbc49-562f-456a-9275-1e7d763b9253-F008.jpg
html/sjcjycl/201901012/alternativeImage/81ebbc49-562f-456a-9275-1e7d763b9253-F009.jpg
html/sjcjycl/201901012/alternativeImage/81ebbc49-562f-456a-9275-1e7d763b9253-F010.jpg
图像

8

(a)

图8(b)

8

(c)

9

(a)

图9(b)

9

(c)

图11(a)图11(b)图11(c)图12(a)图12(b)图12(c)
时间4.263.693.154.433.873.286.816.295.767.016.255.92
图像均值标准差平均梯度信息熵空间频率

图8(a)

图8(b)

图8(c)

图9(a)

图9(b)

图9(c)

图11(a)

图11(b)

图11(c)

图12(a)

图12(b)

图12(c)

54.06

54.03

54.04

53.62

54.57

54.39

93.26

94.97

94.79

93.72

95.43

95.11

45.45

45.86

45.69

45.32

45.97

45.67

54.68

54.99

54.91

54.93

55.71

55.11

4.00

5.65

6.90

4.14

6.80

7.81

6.53

6.66

7.93

6.61

6.92

8.11

6.19

6.31

7.41

6.28

6.40

7.96

7.15

7.54

9.80

7.20

7.76

9.97

10.68

11.57

13.97

11.62

12.85

14. 90

10.13

12.99

15.13

10.57

13.37

15.96

图1 光子计数实验平台的原理框图

Fig.1 Block diagram of photon counting experimental platform

图2 光子计数实验平台的实物图

Fig.2 Physical map of photon counting experimental platform

图3 光子计数成像平台的软件实现流程图

Fig.3 Software flow chart of photon counting experimental platform

图4 图像小波变换的塔形结构

Fig.4 Tower structure of image wavelet transform

图5 基于冗余小波的图像融合方法示意图

Fig.5 Image fusion based on redundant wavelet transform

图6 改进区域能量融合规则的图像融合基本原理框图

Fig.6 Basic principle block diagram of image fusion for improving regional energy fusion rules

图7 叶子源图像

Fig.7 Source images of Leaf

图8 不同融合规则下的基于小波变换的叶子图像融合

Fig.8 Fusion of Leaf images based on wavelet transform under different fusion rules

图9 不同融合规则下的基于冗余小波变换的叶子图像融合

Fig.9 Fusion of Leaf images based on redundant wavelet transform under different fusion rules

图10 Lena源图像

Fig.10 Source images of Lena

图11 不同融合规则下的基于小波变换的Lena图像融合

Fig.11 Fusion of Lena images based on wavelet transform under different fusion rules

图12 不同融合规则下的基于冗余小波变换的Lena图像融合

Fig.12 Fusion of Lena images based on redundant wavelet transform under different fusion rules

表 1 不同融合规则下的融合运行时间(s)

Tab. 1 Fusion run time under different fusion rules(s)

表 2 融合图像的评价指标

Tab. 2 Evaluation index of fusion images

image /

无注解

无注解

无注解

无注解

无注解

无注解

无注解

无注解

无注解

无注解

无注解

无注解

无注解

无注解

  • 参考文献

    • 1

      谭娜 斯特海琪.图像融合:算法与应用[M].

      王强,刘燕,金晶,译.北京:国防工业出版社, 2015.

      Tania Stathaki . Image fusion: Algorithms and applications [M]. Wang Qiang, Liu Yan, Jin Jing, translation. Beijing: National Defense Industry Press, 2015.

    • 2

      Pajares G, Cruz J. A wavelet-based image fusion tutorial [J]. Pattern Recognition, 2004, 37(9):1855-1872.

    • 3

      Smith M I, Heather J P. A review of image fusion technology in 2005[C]//Proc of SPIE.

      [S.l.]: SPIE, 2005, 5782: 29-45.

    • 4

      黄慧,张宝辉,席峰,等.基于目标增强的红外与可见光图像融合技术研究[J].红外技术, 2017, 39(10): 908-913.

      Huang Hui, Zhang Baohui, Xi Feng, et al. Research on infrared and visible image fusion technique based on target-enhancement [J]. Infrared Technology, 2017, 39(10): 908-913.

    • 5

      Ding W E, Bi D Y, He L Y, et al. Infrared and visible image fusion method based on sparse features [J]. Infrared Physics & Technology, 2018, 92(8): 372-380.

    • 6

      Chen M S. Image fusion of visual and infrared image based on NSCT and compressed sensing [J]. Journal of Image and Graphics, 2016, 21(1): 39-44.

    • 7

      Yue C, Liu L, Li H, et al. A fusion algorithm for infrared and low light level images based on edge information and support value transform [J]. Infrared Physics & Technology, 2015, 71(7): 313-321.

    • 8

      徐敏.基于分割与增强方法的红外与微光图像融合[J].软件导刊,2017,16(1): 170-173.

      Xu Min. Combined segmentation and enhancement methods to fuse the infrared and low light level images [J]. Software Guide, 2017, 16(1): 170-173.

    • 9

      张宝辉,闵超波,窦亮,等.目标增强的红外与微光图像融合算法[J].红外与激光工程, 2014, 43(7): 2349-2353.

      Zhang Baohui, Min Chaobo, Dou Liang, et al. Fusion algorithm of target enhancing infrared and low-level-light image[J]. Infrared and Laser Engineering, 2014, 43(7): 2349-2353.

    • 10

      田思.微光与红外图像实时融合关键技术研究[D].南京:南京理工大学,2010.

      Tian Si. Key technologies of infrared and low-leve-light image real-time fusion [D]. Nanjing: Nanjing University of Science and Technology, 2010.

    • 11

      赵康,吴谨.一种改进的基于区域梯度-能量的图像融合方法[J].液晶与显示, 2016, 31(3): 331-337.

      Zhao Kang, Wu Jin. Improved image fusion algorithm based on regional gradient and regional energy [J]. Chinese Journal of Liquid Crystals and Displays, 2016, 31(3): 331-337.

    • 12

      Xu T, Wang W W. A compressed sensing approach for underdetermined blind audio source separation with sparse representation[C]//IEEE Transaction on Statisitical Signal Processing. Cardiff: IEEE, 2009: 493-496.

    • 13

      Willett R M, Marcia R F, Nichols J N. Compressed sensing for practical optical imaging systems: A tutorial [J]. Optical Engineering, 2011, 50(7): 072601.

    • 14

      陈博. 基于APD的光子计数成像系统的开发与实验研究[D].南京:南京理工大学,2012.

      Chen Bo. Development and experimental research of photon counting image system based on APD [D]. Nanjing: Nanjing University of Science and Technology, 2012.

    • 15

      Chandana M, Amutha S, Kumar N, et al. A hybrid multi-focus medical image fusion based on wavelet transform [J]. International Journal of Research and Reviews in Computer Science (URRCS), 2011, 12(4): 06892544.

    • 16

      闫胜武.基于小波变换的图像融合技术研究[D].兰州:兰州大学,2012.

      Yan Shengwu. A study of image fusion technology based on wavelet transform[D]. Lanzhou: Lanzhou University, 2012.

    • 17

      李伟.像素级图像融合方法及应用研究[D].广州:华南理工大学,2006.

      Li Wei. Pixel level image fusion method and application[D]. Guangzhou: South China University of Technology, 2006.

    • 18

      吴艳.多传感器数据融合算法研究[D].西安:西安电子科技大学,2003.

      Wu Yan. Study of multisensory date fusion algorithms[D]. Xi’an: Xidian University, 2003.

    • 19

      徐萌萌.基于小波变换的图像融合算法研究[D].哈尔滨:哈尔滨理工大学,2014.

      Xu Mengmeng. The research of image fusion algorithm based on wavelet transform[D]. Harbin: Harbin University of Science and Technology, 2014.