引言

光子计数图像是在极微弱光环境下获得的图像。随着微光夜视技术的发展，微光图像处理系统对极微弱光下所得图像融合的需求也在不断提升。图像融合是运用数学方法对获得的多幅源图像进行显著特征增强的过程^[1]，由于多幅源图像之间可以相互补充，所以图像增强能降低融合图像不确定性和减少模糊度,同时提高融合图像信息的准确性和可靠性，形成对目标比较完整的描述^[2,3]。图像增强目的就是产生一个更易于理解的合成图像，这将有利于进行观察和目标识别。

近年来，图像融合多应用于可见光图像与红外图像^[4,5,6]、微光图像和红外图像^[7,8]。其中，文献[8]将增强后的微光图像与红外图像进行融合，融合后的图像突出了目标；文献[9]通过对红外图像进行滤波处理后再与微光图像进行融合，融合后的图像提供了较丰富的背景信息，增强了目标信息。文献[10]提出了一种微光与红外图像的开窗融合技术方法，解决图像融合速度与图像融合质量的矛盾。文献[11]通过小波变换进行图像稀疏化，计算对应的梯度和能量值，采用绝对值取大法和加权平均法对图像进行融合，融合图像效果得到改善，但仍存在不清晰的现象。同时使用基于区域能量和基于区域梯度法融合规则进行的图像融合，得到融合图像亮度较高，但会出现比较严重的条纹噪声且图像轮廓不清晰^[12,13]。

针对上述方法的不足，本文对基于区域能量的融合规则法进行改进，并应用于微光图像的融合。微光图像是在小于 10 - 1 勒克斯的微弱光照下得到的图像，成像器件多为像增强器和电荷藕合成像器件类。本文在 10 - 4 ~ 10 - 5 勒克斯的极微弱环境下，采用多像素光子计数器（Multi-piexl photon counter，MPPC）在不同光照度条件下得到光子计数图像，采用改进的区域能量融合规则对光子计数图像进行融合，得到的图像质量更高，目标轮廓更清晰，可辨别出图像中的目标。

1 MPPC光子计数成像系统

1.1 MPPC光子计数实验平台

MPPC是滨松公司研发的一种由多个工作在盖革模式的APD像素组成的光子计数产品，具备高光子探测效率、高增益、精准的时间分辨率、宽光谱响应范围，以及可在低电压下工作等优点。为了研究光子计数图像处理技术，本文设计并搭建了光子计数实验平台，整个平台外带有黑箱。光子计数实验平台的原理框图^[14]如图1所示。图中，宽量程微光照度计用来读出实验环境下的光照度。

图1 光子计数实验平台的原理框图

Fig.1 Block diagram of photon counting experimental platform

本文实验中使用1根光纤是为了提高光子计数图像扫描的分辨率。光纤的一端固定在二维平移台上方的光纤耦合器上，另一端与MPPC探测器探头连接，使光子通过光纤传入MPPC探测器像元内；计算机通过电缆线与MPPC探测器的USB口连接，并与步进电机控制器的串口相连，控制MPPC探测器的扫描，同时也控制着步进电机控制器的运动^[14]。光子计数实验平台的实物图如图2所示。

图2 光子计数实验平台的实物图

Fig.2 Physical map of photon counting experimental platform

1.2 MPPC光子计数成像实验平台的软件实现

实验平台的上位机软件采用MFC微软基础类库编写而成。软件通过串口向步进电机控制器发送控制指令，驱动步进电机的运动，完成MPPC探测器逐行逐点采集图像数据的工作，基本流程如图3所示。

图3 光子计数成像平台的软件实现流程图

Fig.3 Software flow chart of photon counting experimental platform

图3中，初始化部分主要进行步进电机的速度参数和步长参数设定、MPPC探测器的参数初始化工作等。参数输入和读取部分主要进行基本的参数输入和步进电机的归零操作，以及将设定的参数正确地读取到步进电机。之后，程序开始进入循环，MPPC探测器开始逐行逐点采集图像数据，此过程所需时间由采集参数决定，数据采集过程耗时较长。数据全部采集完成后，程序将采集到的数据导入文本文件，然后通过MATLAB软件进行数据处理和图像恢复，以及其他图像处理的优化。最后，将生成的图像以及一些数据分析结果存入文件。

2 光子计数图像融合

2.1 基于小波变换的图像融合

由于本文光子计数图像是由二维矩阵信息构成，所以对源图像进行二维的小波变换，即Mallat算法。光子计数源图像经过二维小波变换后，分别得到图像的高、低频部分。在 j 分辨率下可以将图像分解为如下4部分^[15]： A j f 表示低频部分图像（用LL表示）； D j + 1 1 f 表示在垂直方向上的高频部分图像（用LH表示）； D j + 1 2 f 表示在水平方向上的高频部分图像（用HL表示）； D j + 1 3 f 表示在对角线方向上的高频部分图像（用HH表示），如图4所示。

图4 图像小波变换的塔形结构

Fig.4 Tower structure of image wavelet transform

大多数的小波变换算法是将原来的图像分解成为一个大小递减的小波面。而在冗余小波变换的算法中，全部小波面的像素都相同，与原始图像一样，变换后的各频率子带图像与源图像大小相等，具有平移不变性。基于冗余小波变换的融合方法原理框图如图5所示。

本文对低频图像进行像素平均的融合方法，对高频图像采用改进区域能量的融合规则进行图像融合。由于一个大小一定的区域内部包括多个像素点，区域能量融合规则需要考虑该区域内的所有像素点，避免了只考虑单独1个像素点产生的误差，提高了光子计数图像的融合效果。

图5 基于冗余小波的图像融合方法示意图

Fig.5 Image fusion based on redundant wavelet transform

2.2 区域能量的融合规则

对同一融合方法采用不同的融合规则，将会得到不同效果的融合图像。目前小波域的融合规则有小波系数进行绝对值较大选择法、绝对值较小选择法和加权平均法等，都是对单个像素点进行处理^[16]。然而图像的细节特征通常是由多个像素点表征，单个像素点并不能表示出图像的某一细节，并且这些像素点集中分布在图像中的某一区域，像素点之间表现出较强的相关性。因此,图像融合如果只是简单地对单个像素点进行图像融合处理，融合后的图像会存在较大的误差，图像效果较差。区域能量融合规则的图像融合原理^[17]是对源图像进行变换，得到高、低频图像；然后计算两幅源图像中高频部分图像的局部区域能量，根据局部区域能量计算两幅源图像的匹配度，并与设定的阈值进行比较：当匹配度小于阈值时,表示在该区域中两幅源图像的能量差异较大,选取局部区域能量较大的图像像素点值；当匹配度大于或等于阈值时,说明两幅源图像在该区域上能量比较接近，采用加权融合规则进行图像融合。

令源图像 A 和 B 在 j 分辨率下、 ε 方向上以 m , n 为中心的局部区域能量分别为 E j ε f A m , n 和 E j ε f B m , n ，则 E j ε f ( A × B ) m , n 表示 A × B 在 j 分辨率下、 ε 方向上以 m , n 为中心的局部区域的能量，由此可以确定两幅源图像对应局部区域的匹配度 M 为^[18]

式中 E j ε f A m , n 和 E j ε f B m , n 以及 E j ε f ( A × B ) m , n 计算公式为^[19]

式中： K 和 L 表示局部区域的大小， m = 1,2 , 3 , ⋯ , K ， n = 1,2 , 3 , ⋯ , L ； f A m , n 和 f B m , n 分别表示源图像 A 和源图像 B 在 m , n 点的像素值； D j ε f A m , n 和 D j ε f B m , n 表示源图像 A 和源图像 B 在3个方向的高频部分图像； ω i , j 为权系数，表达式为

区域能量的融合规则中阈值 T 根据多次实验效果设定为 T = 0.7 。匹配度与阈值进行比较，对图像进行融合。其中， f F m , n 表示融合后的光子计数图像。

若 M < T ，则

若 M ≥ T ，则

式中 ω A 和 ω B 为图像融合中的加权系数^[16]，其值由局部区域能量决定，表达式为

由于本文是对光子计数图像进行融合，而光子计数图像的亮度和对比度较低，对其进行基于区域能量融合规则的图像融合则效果不佳。因此本文在区域能量融合规则法的基础上，提出了改进的区域能量融合规则。

2.3 改进的区域能量融合规则

文献[19]中图像融合原理是对源图像进行小波变换，得到高、低频分量，对低频分量进行邻域能量加权的融合方法；对高频分量进行邻域能量对比度取大法的融合方法。本文对区域能量融合规则进行改进,即对源图像中某一区域所有像素点进行能量和均方差计算，然后根据其局部区域能量决定两幅源图像的匹配度；当匹配度小于阈值时,图像融合规则选择能量大的区域像素点的增强值作为融合图像中相对应的像素点值,增强因子是由两幅源图像的相应邻域均方差决定；反之,当匹配度大于或等于阈值时,可采用加权区域能量法确定融合图像，其中加权系数是由两幅源图像的局部区域能量和阈值共同决定的，而阈值由两幅源图像的图像信息决定。图6为改进区域能量融合规则的图像融合基本原理框图。

图6 改进区域能量融合规则的图像融合基本原理框图

Fig.6 Basic principle block diagram of image fusion for improving regional energy fusion rules

图像的邻域特性受多个因素的影响，其中局部区域能量和方差比较显著。局部区域均方差与图像细节的丰富程度有关，均方差值越大，表示图像细节越丰富。图像某点像素的增强值是由该点像素值与增强因子乘积决定，高频部分的像素增强值更能体现出图像的细节，具体评价参数为

式中： μ A 和 μ B 分别表示光子计数源图像 A ， B 的均值； σ A 和 σ B 分别表示光子计数源图像 A ， B 的均方差； ψ A 和 ψ B 表示光子计数源图像 A ， B 的增强因子。

区域能量的融合规则中阈值 T 是根据多次实验效果设定的，没有考虑源图像本身的图像信息。如果不同的源图像进行图像融合时，阈值 T 相同会影响融合图像的融合效果。由于本文所设定的阈值 T 要与两幅源图像局部区域的匹配度进行比较，故需计算出与匹配度相对应的局部区域阈值。根据式(9)可以计算出与局部区域匹配度相对应的局部区域阈值为

根据匹配度 M 和阈值 T 可以确定加权的系数为

若 M < T ，则有

若 M ≥ T ，则有

3 实验分析

本文进行图像融合的计算机配置是Intel Corei5处理器，2 GB内存，融合算法仿真使用MATLABR2016a。实验选择两组图像分别是叶子图像和经典的Lena图像，经过光学实验平台探测得到相应的光子计数图像，如图7—12所示。每组两次实验中设置的SC步进电机的步长和速度相同，扫描点数和时间相同，只在光学实验平台中设定不同的微光照度，其中图7(a)和图10(a)中微光照度计测得的数值为 6.31 × 10 - 5 l x ，图7(b)和图10(b)中微光照度计测得的数值为 4.02 × 10 - 4 l x ，令得到的光子计数图像作为图像融合的源图像，按照融合规则1—3进行图像融合，并对融合后的图像进行主观和客观上的评价。其中，融合规则1为低频部分图像采用加权平均法，高频部分图像为小波系数取绝对值较大法；融合规则2为低频部分图像采用加权平均法，高频部分图像为区域能量融合法；融合规则3为低频部分图像采用加权平均融合法，高频部分图像采用改进区域能量法。

图7 叶子源图像

Fig.7 Source images of Leaf

图8 不同融合规则下的基于小波变换的叶子图像融合

Fig.8 Fusion of Leaf images based on wavelet transform under different fusion rules

图9 不同融合规则下的基于冗余小波变换的叶子图像融合

Fig.9 Fusion of Leaf images based on redundant wavelet transform under different fusion rules

图10 Lena源图像

Fig.10 Source images of Lena

图11 不同融合规则下的基于小波变换的Lena图像融合

Fig.11 Fusion of Lena images based on wavelet transform under different fusion rules

图12 不同融合规则下的基于冗余小波变换的Lena图像融合

Fig.12 Fusion of Lena images based on redundant wavelet transform under different fusion rules

由2.3节改进的图像融合算法可看出，本文改进的融合算法计算量与已有的区域能量融合规则的计算量无较大区别。表1为不同融合规则生成融合图像所需时间。根据表1可以看出，图9(c)和图11(c)运行时间少于图9(a,b)和图11(a,b)的运行时间。总体来看，虽然本文融合算法步骤多于其他融合法，但是改进融合规则的计算简单，程序运行所需时间较短。

表 1 不同融合规则下的融合运行时间(s)

Tab. 1 Fusion run time under different fusion rules(s)

图像	图8 （a）	图8（b）	图8 （c）	图9 （a）	图9（b）	图9 （c）	图11（a）	图11（b）	图11（c）	图12（a）	图12（b）	图12（c）
时间	4.26	3.69	3.15	4.43	3.87	3.28	6.81	6.29	5.76	7.01	6.25	5.92

由融合图像可以看出：图8（a）和图9（a）中叶子图像出现块状模糊现象，图8（b, c）和图9（b, c）在主观视觉上没有很大区别，都较好地突出了叶子的细节部分，可以看出叶子的主经脉，但图（c）融合图像层次比图（b）更分明。图11和图12融合的Lena图像中，图（a）融合图像中出现马赛克现象，一些细节同时被模糊；图（b）融合效果好于图（a）,没有出现模糊的块状，但是图像亮度较低；图（c）融合图像效果和图像质量好于其他融合图像，融合图像层次分明，图像纹理和细节比较清晰。从主观评价结果可以看出，采用基于区域能量的融合规则得到融合图像效果最好。

由于主观评价会随着观察者的不同，对融合图像的效果评价产生较大误差。为了更精确地评价融合图像质量的优劣，采用均值、标准差、信息熵、平均梯度及空间频率^[19] 作为评价指标对图像进行客观的评价，具体结果如表2所示。从表2可以看出，图8（c）和图11（c）的信息熵、平均梯度和空间频率值大于同组的图（a，b）值，图9（c）和图12（c）的信息熵、平均梯度和空间频率也大于同组其他值，说明图像所含的信息越多，边缘信息以及细节越丰富，图像效果越好；而图（c）的标准差和均值居中，不是最大也不是最小，说明图（c）的融合图像有一定的反差、信息含量也较多，图像融合效果也较好。通过以上数据分析可以得出，采用改进区域能量融合规则的光子计数图像融合得到的信息熵、平均梯度和空间频率比其他融合图像提高了20%，25%，30%左右，图像质量和效果最好，边缘信息和纹理细节也比较明显。

表 2 融合图像的评价指标

Tab. 2 Evaluation index of fusion images

图像	均值	标准差	平均梯度	信息熵	空间频率
图8（a） 图8（b） 图8（c） 图9（a） 图9（b） 图9（c） 图11（a） 图11（b） 图11（c） 图12（a） 图12（b） 图12（c）	54.06 54.03 54.04 53.62 54.57 54.39 93.26 94.97 94.79 93.72 95.43 95.11	45.45 45.86 45.69 45.32 45.97 45.67 54.68 54.99 54.91 54.93 55.71 55.11	4.00 5.65 6.90 4.14 6.80 7.81 6.53 6.66 7.93 6.61 6.92 8.11	6.19 6.31 7.41 6.28 6.40 7.96 7.15 7.54 9.80 7.20 7.76 9.97	10.68 11.57 13.97 11.62 12.85 14. 90 10.13 12.99 15.13 10.57 13.37 15.96

4 结束语

本文针对不同光照度条件下得到的光子计数图像采用基于改进区域能量融合规则进行融合。实验结果表明，采用本文融合规则得到的光子计数融合图像，目标轮廓更加清晰可见，细节更明显，目标更易于识别；从客观评价指标也可以看出，融合图像的信息熵、平均梯度以及空间频率值都有所提高，融合图像效果更好。

参考文献