基于视频的火焰检测算法综述

曹江涛; 秦跃雁; 姬晓飞; CAO Jiangtao; QIN Yueyan; JI Xiaofei

网刊加载中。。。

使用Chrome浏览器效果最佳，继续浏览，你可能不会看到最佳的展示效果，

确定继续浏览么?

复制成功，请在其他浏览器进行阅读

基于视频的火焰检测算法综述 PDF

曹江涛 ¹
秦跃雁 ¹
姬晓飞 ²

1. 辽宁石油化工大学信息与控制工程学院，抚顺，113001 ； 2. 沈阳航空航天大学自动化学院，沈阳，110136

中图分类号： TP391.41

最近更新：2020-03-06

DOI：10.16337/j.1004-9037.2020.01.003

目录contents

摘要

近年来，随着计算机视觉技术和数字图像处理技术的不断发展，基于视频分析的火焰检测技术获得越来越多的关注。鉴于基于视频的火焰检测对消防安全、人民生命和国家财产安全等具有重要的实际研究意义，以及其理论基础和影响因素的多样性，本文对目前已有的基于视频的火焰检测算法所涉及的关键技术进行了综述。首先介绍了目前基于视频的火焰检测技术的处理流程，即预处理、特征提取、分类识别；其次着重分析火焰的特征，包括基于单帧的静态特征和基于多帧的动态特征，同时列举了典型的火焰特征提取算法；然后重点总结多特征融合策略和用于火焰识别的常用分类器以及深度学习识别方法；最后对基于视频的火焰检测技术的研究难点和未来发展进行了较为详细的分析探讨。

关键词

视频火焰检测; 预处理; 特征提取; 多特征融合; 分类识别; 深度学习

引言

火灾一直以来都是人类生命财产安全的重大威胁，故尽早预防和避免火灾的发生也越来越重要。在火出现的早期阶段里，烟雾的出现一般先于可见的火，故火灾检测包括烟雾检测和火焰检测两部分，烟雾的检测对于早期的火灾预防报警有着极其重要的作用。然而有些情况下，烟雾的出现一闪即逝，无法实时检测，所以此时对于火灾早期出现的小火苗的检测也十分必要。针对烟雾和火焰检测这一具有实际意义的研究课题，近年来已经进行了许多研究。传统的火灾检测技术通常基于烟尘颗粒和温度传感器 ^[

1]，这种传感器检测方法时间较长，在火灾初期不能及时进行报警；而且这类传感器检测范围较小，无法对室外大场景进行监控 ^{[参考文献 2
百度学术}2]；此外这类传感器无法给出火灾的详细信息，例如火灾的燃烧程度，火焰大小，火灾具体位置等 ^{[参考文献 3
百度学术}3]。近年来随着网络摄像机的广泛使用以及图像处理技术的不断发展，基于视频的火焰检测(Video fire detection, VFD)技术得到越来越多的关注。这种方法不仅检测范围大，而且能够快速准确地定位着火点。

基于视频的火焰检测技术既具备理论研究价值，又有实际应用价值，最近几年也在不断地趋于完善，例如，文献[

4]提出将多特征利用层次分析法融合来检测火焰；文献[5]提出了用极限学习机(Extreme learning machine, ELM)来提高火焰的识别率；文献[6]总结了火焰的颜色和运动特征以及传统的VFD方法；文献[7]总结了火焰的特征及分类识别方法。本文将对基于视频的火焰检测算法所涉及的预处理技术、单帧静态特征和多帧动态特征以及特征提取方法、多特征融合算法和分类识别方法进行详细的介绍和总结，并且对VFD技术的研究难点和未来的发展趋势进行探讨。

1 基于视频的火焰检测步骤

目前基于视频的火焰检测技术大多基于多级模式识别，基本上包括4个阶段：图像采集(视频图像序列)、预处理、特征提取和分类识别。检测流程如图1所示。

图1 基于视频的火焰检测流程图

Fig.1 Flow chart of flame detection based on video

图像采集是用摄像机采集信号，传输到计算机获取视频图像序列，即图像数字化的过程。基于视频的火焰检测系统大部分是利用普通的可见光摄像机 ^[

8,9,10]，红外摄像机 ^{[参考文献 11
百度学术}11,12]，热感应摄像机 ^{[参考文献 13
百度学术}13]，或长波红外热感应摄像机 ^{[参考文献 14
百度学术}14]作为传感器。普通的可见光摄像机通常用于检测光线较好的区域的火焰，其他的摄像机可用于黑暗、烟雾和有灰尘的环境中 ^{[参考文献 15
百度学术}15]。预处理是视频火焰检测的基本阶段，由于烟雾先于火灾出现，所以常用的预处理可以先进行疑似烟雾区域的提取，但有时烟雾会迅速转变为火苗，故直接对火焰独特的特征进行分析，从而分割出候选火焰的感兴趣区域（Region of interest, ROI）。特征提取阶段是指对候选火焰区域的静态及动态特征分析，或是时间和空间维度上的分析。最后，采用多特征融合算法或将多特征输入分类器的方式进行“是火焰”或“非火焰”的分类识别。

2 预处理

预处理阶段就是利用火焰的显著特性，将其疑似火焰的ROI分割出来，也可以根据烟雾先于火焰出现的规律，通过检测烟雾来确定疑似火焰的感兴趣区域。其目的是为特征提取阶段减少计算量，从而缩减整个检测过程所需要的时间。就目前的基于视频的火焰检测技术而言，常用的预处理分割技术有基于颜色分割和运动分割两种。此外，文献[

16,17]为了降低图像处理的难度在该阶段使用SLIC(Simple linear iterative cluster)超像素分割技术。

2.1　基于颜色分割的处理技术

由于火焰颜色的特殊性，使用不同颜色模型的处理方法已经广泛应用于该领域 ^[

18]。由于所有可见光范围的相机都有检测RGB颜色格式的视频传感器 ^{[参考文献 19
百度学术}19]，因此RGB颜色模型是常用模型。此外，RGB颜色空间可以转换成HSV、HSI、YCbCr或YUV颜色空间来检测火焰。HSV或HSI颜色空间着重强调图像像素在色调(Hue)、饱和度(Saturation)、亮度(Value)和强度(Intensity)值变化方面的视觉感知，色度和饱和度与人类感知颜色的方式更为相近，因此使分割更容易完成 ^{[参考文献 20
百度学术}20]；YUV和YCbCr颜色空间中，Y代表亮度信息(Luminance)，U、V分别代表的是色度信息(Chrominance)，Cb和Cr分别表示颜色分量的蓝和红。YCbCr、YUV颜色空间与RGB颜色空间间的转换呈线性，并且YCbCr、YUV颜色空间几乎不受亮度改变的影响，鲁棒性更好，更适合用于对疑似烟雾和火焰区域进行分割 ^{[参考文献 21
百度学术}21,22]。

2.2　基于运动分割的处理技术

由于火焰具有蔓延扩散的运动特性，所以在火焰检测系统中，分割出运动的前景作为进一步检测的ROI是非常必要的。其中最为常用的运动目标检测的方法有光流法 ^[

23]、背景减除法 ^{[参考文献 24
百度学术}24,25,26]、帧间差分法 ^{[参考文献 27
百度学术}27]。光流法可适用摄像机静止和运动两种运动 ^{[参考文献 28
百度学术}28]，但计算量大，易受光照变化的影响 ^{[参考文献 29
百度学术}29]；帧间差分法原理简单，运算复杂度低，可适用于实时检测系统，但检测目标有缺失，容易产生中空的现象 ^{[参考文献 30
百度学术}30]。因此基于视频的火焰检测使用频率较高的运动目标检测方法是背景减除法，该方法运算难度低，提取目标完整 ^{[参考文献 31
百度学术}31]。由于传统的背景减除只关心前景，完全除去背景，一定程度影响检测结果，文献[32,33]提出了高斯混合背景建模，同时对前景和背景建模，提高背景模型的适应性。文献[34]提出了用改进的Vibe算法检测运动目标，实现对运动区域的选择性更新。

3 特征提取

火灾发生的前期阶段，逐渐地由烟雾转换成小火苗，不断蔓延增长，此变化过程在视频图像序列中有明显的表征。同时因为不同的燃烧物及外界环境变化等的影响，火焰的形状、位置、颜色、温度、面积等特征都会随之发生变化。因此对于基于视频的火焰检测算法，其颜色、形状、纹理结构、区域的动态变化、火焰的形态等作为火焰的可见特征被广泛应用。火焰基本特征的具体分类如图2所示。

图2 火焰基本特征分类

Fig.2 Classification of flame characteristics

3.1　静态特征提取

3.1.1　颜色特征

火焰颜色与周围环境对比特征显著，而且实际场景中火焰的颜色受诸多环境因素影响，诸如温度、燃烧物燃烧充分性、燃烧物材料等，使火焰具有特殊的颜色分布规律，大部分呈现为突出且明亮的红色和黄色，在火灾检测中起到极其重要的作用。目前多数火灾检测都应用了颜色检测模块 ^[

35]，其颜色特征的提取方法通常采用灰度直方图或彩色直方图进行分析，不同文献在RGB ^{[参考文献 36
百度学术}36]、HSI ^{[参考文献 37
百度学术}37,38]、HSV ^{[参考文献 39
百度学术}39]、YUV ^{[参考文献 40
百度学术}40]和YCbCr ^{[参考文献 41
百度学术}41,42]等不同的颜色空间中研究火焰检测规则，对比结果如表1所示。

表1 基于不同颜色空间的检测规则对比

Table 1 Comparison of detection rules based on different color spaces

颜色空间	文献	规则	结论
RGB	[36]	$\begin{array}{l} R > R_{T}, R_{T} \in [115,135] \\ S > (255 - R) \times S_{T} / R_{T} \\ S_{T} \in [45,60], R \geq G > B \end{array}$	优点：对呈现显著的红色和黄色的火焰检测结果较好；缺点：容易造成火焰内部空洞，且易将枯黄的草地、火焰燃烧产生的浓烟等误判为火焰。
HSI	[ 37] [ 38]	$\begin{array}{l} 0 \leq H \leq 60 \\ 20 \leq S \leq 100 \\ 100 \leq I \leq 255 \end{array}$	优点：对火焰颜色呈现红色到黄色范围的检测结果较好；缺点：背景光照强度的变化会影响其检测结果。
HSV	[39]	$\begin{array}{l} 0.02 < H < 0.3 \\ 0.2 < S < 1.0 \\ 0.98 < V < 1.0 \end{array}$	优点：能够有效排除红色和黄色等近似火焰的颜色，降低了亮度对颜色检测的影响；缺点：一些疑似火焰颜色的区域也可能因为满足该条件而被误检。
YUV	[40]	$\begin{matrix} Y \geq 80 ， Y > Y_{m e a n} \\ \|U - 128\| \leq 60, V > V_{m e a n} \\ \|V - 128\| \leq 40, U < U_{m e a n} \end{matrix}$	优点：对光照条件不敏感，且受亮度变化的影响小；缺点：会对颜色呈现在黄红之间的干扰物造成误检。
YCbCr	[ 31] [ 42]	$\begin{array}{l} Y > C_{b} \\ C {}_{r}> C_{b} \\ \|C_{b} - C_{r}\| > 80 \end{array}$	优点：光照变化对检测结果影响不大，且对火焰颜色呈现在从红色到黄色，甚至是白色(极高温)均有效；缺点：会将颜色相近的物体误检成火焰。

火焰的颜色特征除可以利用上述不同颜色空间的不同规则进行提取外，还可以用颜色矩来表征颜色特征。这是一种简单、有效和低维度的颜色特征表示方法。颜色矩即分别利用火焰像素的一阶矩、二阶中心矩以及三阶中心矩来描述火焰的颜色信息 ^[

43]，颜色矩的3个计算公式如下

$u_{i} = \frac{1}{N} \overset{N}{∑_{j = 1}} p_{i, j}$

(1)

$σ_{i} = {(\frac{1}{N} \overset{N}{∑_{j = 1}} (p_{i, j} - u_{i})^{2})}^{\frac{1}{2}}$

(2)

$s_{i} = {(\frac{1}{N} \overset{N}{∑_{j = 1}} (p_{i, j} - u_{i})^{3})}^{\frac{1}{3}}$

(3)

式中：p_i_,_j表示在彩色图像通道i中像素值为j出现的概率；N表示图像的总像素。

3.1.2　纹理特征

由于火焰具有不透明性，因此火焰可以将图像中像素突变的像素点抹平，从而改变图像的纹理结构特征，与同一场景下的其他物体的纹理具有明显差别。故纹理特征同样也是火灾检测的重要部分。常用分析火焰的纹理描述子有局部二值模式(Local binary patterns, LBP) ^[

44]、完全鲁棒局部二值模式(Completed robust local binary pattern, CRIBP) ^{[参考文献 45
百度学术}45]、灰度共生矩阵(Gray⁃level co⁃occurrence matrix, GLCM) ^{[参考文献 46
百度学术}46]、局部极值共生模式(Local extrema co⁃occurrence pattern, LECoP) ^{[参考文献 47
百度学术}47]。目前基于视频的火焰检测都是使用一种纹理描述子对其火焰的纹理信息进行描述，文献[48]提出了一种混合纹理描述子的算法，同时使用多个纹理描述子对火焰图像纹理进行分析，这种算法的优点在于能够提取出火焰的局部微小纹理信息，使其更精确地将火焰的纹理信息呈现出来，而且具有更好的鲁棒性。不同的纹理描述子如表2所示。

表2 不同纹理结构介绍

Table 2 Introduction of different texture structures

纹理描述子	文献	总结
LBP	[44]	LBP具有不变性对于旋转，被光照影响的可能性小，是纹理分析常用方法，但不同结构可能会有相同的LBP编码。
CRLBP	[45]	CPLBP是对LBP的改进，解决了不同结构具有相同编码的问题，而且能够检测局部微变化，在不同光照下检测结果稳定，鲁棒性好。
GLCM	[46]	GLCM同时反映火焰图像的像素强度分布情况、像素点空间相对位置信息以及幅度信息，火焰的纹理结构反映在GLCM中与其他物体的纹理信息具有直观的差别。
LECoP	[47]	LECoP在LBP基础上进行改进，同时结合了GLCM的优点，能够同时获得图像纹理的边缘信息、空间信息，并且结合HSV颜色空间得到彩色的纹理信息。

3.1.3　火焰形状特征

根据火焰形状的独特性，可以利用圆形度、矩形度、长宽比、质心高度系数及火焰尖角等特征来描述火焰。圆形度表示目标物体边缘与圆的相似程度，矩形度表示目标物体边缘与矩形的相似程度，是一种对目标物体边缘轮廓复杂度进行表示的方法 ^[

49]。目标对象的边缘越复杂，圆形度的值越高，而矩形度反映了物体对最小外接矩形的填充程度。文献[50]利用圆形度与矩形进行火焰边缘的度量。根据火焰的形状和质心位置的特殊性，文献[51]使用长宽比及质心高度系数判别火焰。在火灾产生过程中会有边缘颤动的现象，这种现象可以利用火焰尖角来判别，其火焰尖角的特点是形状又窄又长且有尖点 ^{[参考文献 52
百度学术}52]。文献[53]用火焰尖角有顶点这一突出特点来区别火焰与其他刚性物体。具体的检测方法如表3所示。

表3 火焰形状特征统计表

Table 3 Statistical form of flame shape characteristics

火焰特征	文献	公式及说明	结论
圆形度	[50]	$C = L^{2} / 4 π S$ , $S$ 表示物体所在区域面积， $L$ 为物体所在区域周长。	与火焰颜色相似的干扰物圆形度值较低，火焰的圆形度值明显较高。
矩形度	[50]	$R = S / S_{R}$ , $S_{R}$ 为包含物体所在区域最小矩形面积。	一般火焰的矩形度值在0.5左右，与其他物体的矩形度值有明显差别。
长宽比	[51]	$R_{W L} = W_{R} / L_{R}, W_{R} 和 L_{R} 分别表示包含物体所$ 在区域的最小矩形的宽度和长度。	可以与细长、圆形及矩形物体进行区分，若是细长物体则值极大或极小。
重心高度系数	[51]	$R_{C} = H_{C} / H, H_{C} 和 H 分别表示物体质心高度，$ H表示物体总高度。	火焰的质心通常偏下，即值小于0.5，区别质心偏上和靠近中央的物体。
火焰尖角	[53]	$Z = d_{1} / d_{2}$ ， $d_{1}$ 表示顶点左右邻域第25个点间距离， $d_{2}$ 表示顶点左右领域第50个点间距离。	火灾中火焰的尖角特性与常见的火灾干扰物有明显的不同，一般高于干扰物的尖角数量。

3.1.4　颜色边缘梯度特征

在火焰检测的过程中，经常会伴有和火焰特性相近的干扰物，如火焰倒影、车灯、焊接过程所发的光等，通过一般的颜色、动态特征等区别火焰和上述干扰物时可能无法达到预期的效果。故文献[

54]通过对火焰的边缘信息与其相似干扰物的边缘信息对比分析，发现火焰的边缘信息有别于其他干扰物，并提出了改进的Sobel算子提取火焰的颜色边缘梯度特征进行火焰判别：首先分别计算火焰的RGB三通道的像素值，得出火焰边缘像素的变化非常明显且蓝色值相对很低；然后利用改进Sobel来提取火焰的边缘梯度信息，并能有效地消除噪音的干扰，具体的计算过程如图3所示。

图3 边缘梯度算子

Fig.3 Edge gradient operator

具体的计算公式为

$G = |G_{x}| + |G_{y}|$

(4)

式中：G_x和G_y分别为水平梯度方向和垂直梯度方向，计算公式分别为

$G_{x} = (z_{7} + 2 z_{8} + z_{9}) - (z_{1} + 2 z_{2} + z_{3})$

(5)

$G_{y} = (z_{3} + 2 z_{6} + z_{9}) - (z_{1} + 2 z_{4} + z_{7})$

(6)

3.2　动态特征提取

3.2.1　面积变化特征

由于火焰的扩散及蔓延性质，火焰的面积也会随之发生变化，且大多数情况下火灾的蔓延趋势会越变越大，文献[

55]采用连续几帧火焰区域面积的增长率来表征面积变化特征，计算公式如下

$γ = （ S {(R)}_{t} - S {(R)}_{t_{0}} ） / (t - t_{0})$

(7)

式中：γ为增长率；S(R)_t表示t感兴趣火焰区域的面积；S(R)t₀表示t₀感兴趣火焰区域的面积；t-t₀表示时间间隔。

根据火焰的扩散面积变化特征除用面积增长率来表示之外，面积重叠率也可以表示面积变化特征，计算公式如下

$R_{s} = \frac{S_{A ⋂ B}}{m a x \{S_{A}, S_{B}\}}$

(8)

式中：R_s表示重叠率；S_A和S_B分别为连续的前后帧中火焰区域的面积。

3.2.2　整体移动特征

火焰会沿着燃烧物或者是风向变化进行移动变换，但是这种整体移动与其他刚性物体的移动有很大的差别，尽管火焰的位置会发生改变，但是不会突然改变，这种变化体现在火焰区域的质心位置不会突变，文献[

56]通过计算火焰区域的质心来判断整体移动特征，计算公式如下

$x_{i} = ∑_{(x, y) ∈ S} x / N_{S}$

(9)

$y_{i} = ∑_{(x, y) ∈ S} y / N_{S}$

(10)

式中：S表示检测的感兴趣火焰区域；N_S表示感兴趣火焰区域的像素点个数；(x, y)为质心坐标。

3.2.3　频闪特征

频闪特征是最常用的火焰动态特征，文献[

57,58,59]采用小波分解，文献[60]利用运动历史检测以及火焰图像间的相关性等方法分析火焰频闪特征。但其中最常用的是用空间小波分解来分析火焰的动态频闪特性，文献[61]对火焰图像进行小波分解后，得到4个子带编码，分别为1个低频子带编码(压缩图像x_LL)和3个高频子带编码(水平系数图像x_HL，垂直系数图像x_LH，对角线系数图像x_HH)，然后通过计算空间小波能量来区分火焰和非火焰，小波能量计算公式如下

$e = \frac{1}{m × n} {∑ |x_{L H}|}^{2} + {|x_{H L}|}^{2} + {|x_{H H}|}^{2}$

(11)

式中：m×n为感兴趣火焰区域的像素值；e表示空间小波能量。根据小波能量的系数曲线图来区分火焰与非火焰，火焰与其他物体之间存在较强的能量壁垒。

3.2.4　运动方向特征

由于火焰运动方向的无序性与其他刚性物体的运动方向有很大的差异，可以根据检测连续两帧之间距离最近的两个火焰角点之间的夹角来确定火焰燃烧的方向，文献[

62]用尺度不变特征(Scale invariant feature transform, SIFT)来提取火焰角点。为了提高火焰角点检测的速度，文献[63]提出了利用加速分割检测特征 (Features from accelerated segment test，FAST)来检测火焰角点，再根据前后两帧间角点的夹角大小依次匹配到由360°等分成6份的词袋(Bag⁃of⁃Words，BoW)中，最后对BoW中每个词(Word)中的夹角数量

$h_{k}$ 进行直方图统计，统计公式如下

$h_{m} = 1 - \frac{m a x (H)}{\overset{|H|}{∑_{k = 1}} h_{k}}$

(12)

式中： $h_{k}$ 表示词袋中每个词中所包含连续两帧角点夹角的数量；H表示直方图。当 $h_{m}$ 大于某一阈值 $τ_{m}$ 时即为火焰。

上述方法采用SFIT进行火焰角点检测，并引进BoW词袋概念进行火焰区域内部所有运动方向的统计来进行火焰检测。文献[

64]中采用了计算连续帧之间火焰区域的质心，构造成方向向量，以计算火焰整体的运动区域，计算方法如下

$θ = a r c t a n (f_{X - A B} / f_{Y - A B})$

(13)

式中：A表示前一帧的火焰区域的质心；B表示后一帧火焰区域的质心；f_X和f_Y分别表示 $A B$ 的水平和垂直分量。同时还可以利用AB来计算火焰的运动速度，计算公式如下

$v = |A B| × R_{f}$

(14)

式中R_f表示帧率。

3.2.5　形状变化特征

火焰的运动由于其周围环境因素的影响，呈现为无序、蔓延趋势变化，进而火焰的形状也会因此变得无规则。所以根据火焰的这一特征，文献[

65]提出了利用freeman链码来近似描述火焰的边缘轮廓，然后利用火焰区域周长和面积之间的比率关系来度量火焰形状的不规则度，当这个比率达到一定阈值就判别为火焰。文献[66]利用Hu不变矩中的平移、旋转、比例等7个不变量作为描述火焰轮廓的变量，再根据火焰形状的无规则性、区域内无长直线的存在来进行火焰检测，具体的计算公式如下

$D_{t}^{i} = \overset{7}{∑_{k = 1}} |s i g n (h_{t}^{k}) ⋅ l o g |h_{t}^{k}| - s i g n (h_{t - 1}^{k}) ⋅ l o g |h_{t - 1}^{k}|| > τ_{g} τ_{g} = 3$

(15)

式中： $h_{t}^{k}$ 表示不变矩； $s i g n (⋅)$ 表示符号函数； $l o g (⋅)$ 表示常用的对数函数； $D_{t}^{i}$ 表示前后帧之间火焰轮廓的差。

其次再利用式（16）判别火焰区域中是否存在长直线，即

$R_{t}^{i} = \{\begin{matrix} \begin{matrix} 1 & 火焰区域内所有直线 < 区域的最大边长 \end{matrix} \\ \begin{matrix} 0 & 火焰区域内存在直线 ≥ 区域的最大边长 \end{matrix} \end{matrix}$

(16)

当以上两个条件同时满足时，判别为火焰，否则不是。

4 分类识别

4.1　多特征融合

由于现实的视频检测场景都会伴随着复杂的背景，在整个视频场景中会存在于火焰特征相同的物体，如飘动的红旗、穿红色的行人以及行驶的红色车辆都可能与火焰的某些特征相同，故单一特征无法完成对火焰的判别。通常需要将动态特征和静态特征有机结合作为火焰检测的判断条件，即多特征融合。不同文献提出的融合方法有模糊逻辑 ^[

67]、投票方法 ^{[参考文献 68
百度学术}68]、串并行处理法 ^{[参考文献 69
百度学术}69]、层次分析法AHP ^{[参考文献 70
百度学术}70]、动态阈值法 ^{[参考文献 71
百度学术}71]以及D⁃S证据理论 ^{[参考文献 72
百度学术}72,73]等，常用的几种多特征融合方法介绍如下。

4.1.1　串并行处理方法

串并行处理方法是多特征融合中最为简单，也是经常被使用的一种融合方法，就是对多个特征进行“与”或“非”运算。文献[

69]利用这种方法，对火焰的多种颜色特征进行“或”运算，然后对火焰的颜色特征和运动特征进行“与”运算，最终判定是否存在火焰。具体方法如下

$R_{c o l o r} = R_{R G B} ⋃ R_{H S I} ⋃ R_{Y U V}$

(17)

$R_{f i r e} = R_{m o t i o n} ⋂ R_{c o l o r}$

(18)

4.1.2　基于层次分析法

文献[

70]利用基于层次分析法 (Analytic hierarchy process，APH)对各火焰特征依次与其他特征进行对比之后，按9分位比率排列各特征的相对重要程度，构造出火焰特征重要性的评估判断矩阵

$A$ ，即

$A = [\begin{matrix} 1 & a_{12} & … & a_{1 n} \\ a_{21} & 1 & … & a_{2 n} \\ ⋮ & ⋮ & 1 & ⋮ \\ a_{n 1} & a_{n 2} & … & 1 \end{matrix}]$

(19)

式中a_ij 表示特征i与特征 j重要性比较结果，并且有如下关系

$a_{i j} = 1 / a_{j i}$

(20)

a_ij 有9种取值：1/9, 1/7, 1/5, 1/3, 1/1, 3/1, 5/1, 7/1, 9/1，分别表示特征i对于特征j的重要程度由轻到重。再用几何平均法（根法）计算各特征的权重系数，首先计算矩阵A各行元素间的乘积，得到矩阵B_n×1；其次对矩阵B中各元素进行n次方根计算得到矩阵C；然后对矩阵C进行归一化处理得到矩阵D；最后的矩阵D即为火焰各特征的权重向量。

在计算得出各特征权重系数时，代入式(21)便可以求出具有火焰特征的得分I_F

$I_{F} = W_{a} I_{a} + W_{b} I_{b} + W_{c} I_{c} + W_{d} I_{d} + ⋯$

(21)

4.1.3　动态阈值法

文献[

71]提出动态阈值法，将火焰视频序列中的N帧图像作为一个检测周期，其中出现火焰的可能性表示为

$P_{F} = \overset{I}{∑_{i = o}} W_{i} \frac{n_{i}}{N}$

(22)

式中：W_i表示不同的火焰特征所占比重根据综合分析结果；n_i表示在检测周期中被判别为是火焰的帧数根据相应火焰特征。

4.1.4　D⁃S证据理论

文献[

72]提出一种基于概率函数的推理方法的多特征融合方式，即D⁃S(Dempster⁃Shafer)证据理论。具体过程即分别给每种火焰特征分配一个基本信度函数，即mass函数，分别为m₁(A₁)，m₂(A₂)，m₃(A₃)，m₄(A₄)，然后对这些mass函数进行置信度函数融合，置信度函数的融合规则公式为

$(m_{1} ⊕ m_{2} ⊕ m_{3} ⊕ m_{4}) (A) = \frac{1}{k} ∑_{A_{1} ⋂ A_{2} ⋂ A_{3} ⋂ A_{4} = A} m_{1} (A_{1}) m_{2} (A_{2}) m (A_{3}) m (A_{4})$

(23)

$k = m_{1} (A_{1}) m_{2} (A_{2}) m_{3} (A_{3}) m_{4} (A_{4}) = 1 - ∑_{A_{1} ⋂ A_{2} ⋂ A_{3} ⋂ A_{4} = φ} m_{1} (A_{1}) m_{2} (A_{2}) m_{3} (A_{3}) m_{4} (A_{4})$

(24)

式中：A₁，A₂，A₃，A₄分别表示不同的火焰特征；k为归一化常数。

4.2　分类器识别

分类器分类识别是将提取出的多种火焰特征不进行处理，直接以向量的形式输入到分类器中，分类器通过分析，最终输出是否为火焰。目前基于视频的火焰检测常用的分类器有支持向量机(Support vector machine, SVM) ^[

74]、(朴素)贝叶斯 ^{[参考文献 75
百度学术}75]、神经网络 ^{[参考文献 76
百度学术}76]、极限学习机 ^{[参考文献 77
百度学术}77](Extreme learning machine, ELM)、深度信度网络 ^{[参考文献 78
百度学术}78]等，最为常用的是支持向量机分类器。

4.2.1　支持向量机

SVM ^[

79]最早是由Vapnik提出的一种监督式学习机，在模式识别领域应用较多。SVM是二分类模型，所以非常适合火焰这种是或者非的分类要求，同时SVM相比于其他的分类算法，在相同的问题复杂程度下需求的样本相对较少，且具有较好的鲁棒性。文献[80]采用非线性SVM及径向基函数作为核函数进行火焰分类。另外，SVM的参数确定直接影响寻找的最优超平面的泛化能力，而粒子群优化算法 ^{[参考文献 81
百度学术}81]可以优化SVM参数，进行快速且较准确的搜索。因此文献[82]采用改进的粒子群优化算法实现SVM分类器的参数优化，并取得了较好的结果。

4.2.2　贝叶斯分类器

贝叶斯 ^[

83]起源古典数学理论，是通过每件事件产生的样本讯息和先验概率求得后验概率的过程，分类效率较稳定，分类算法简单，而且对于缺失数据不是十分敏感。因此文献[84]先提取出疑似火焰区域的颜色、纹理和运动特征，再利用贝叶斯分类器识别多种特征得出最终结果。

4.2.3　BP神经网络

神经网络主要通过模拟人类大脑对信息世界的处理方式来研究事物，神经网络不仅对噪音有抗干扰能力，还对不确定信息有良好的预测分类能力，但也具有容易陷入局部极小值及收敛慢的问题。文献[

85]采用蚁群算法来优化神经网络存在的缺点进行火焰检测，提高了识别率的同时降低了误识率。

4.2.4　极限学习机分类

ELM是专为单层前馈神经网络(Single layer feedforward neuron network, SLFN)而设计的机器学习算法，其突出特点是能够随机地或人为地定义隐含层的参数，无需调整，学习中只用计算输出权重。ELM具有高效的学习能力和强泛化能力的特点，在分类、回归、聚类、特征学习等问题中应用广泛。文献[

86]先提出一种混合纹理描述特征，再利用ELM进行火焰或非火焰的分类。

4.2.5　深度置信网络

深度置信网络由多个受限玻尔兹曼机(Restricted Boltzmann machine, RBM) ^[

87]组成。RBM能随机地生成神经网络结构，它本质上是一种由具有随机性的一层可见神经元和一层隐藏神经元所构成的无向图模型。文献[88]使用2个RBM堆叠成深度信度神经网络分类器用于火焰检测，在多个数据库上测试都得到了令人比较满意的结果。

4.3　级联分类器识别

级联分类器通常是指利用多个弱分类器训练成一个强分类器，多个弱分类器可以是同种分类器，也可以是不同种的分类器。最近有很多利用级联分类器来识别烟雾火焰的研究，以提高火焰检测算法的准确率和稳定性。文献[

89]认为不同特征所具有的阶次不同，直接组合特征向量输入分类器是不合理的，故提出利用级联多个BP神经网络进行火焰识别，将每种特征分别输入BP神经网络作为第1级，再将第1级的输出作为第2级分类器的输入。文献[90]提出应用RBFSVM作为AdaBoost算法的组成分类器进行烟雾火焰检测。

4.4　深度学习识别网络

深度学习近年来发展突飞猛进，越来越多的人工智能应用得以实现，其实质是用一个模仿人脑进行分析、学习的神经网络来拟合人们日常生活中的各种事情 ^[

91]。

目前基于深度学习的火焰检测算法都是以图像为基础进行目标的分类。深度学习中的卷积神经网络是Yann LeCun教授第一个提出，重点用于处理目标分类问题 ^[

92]。卷积神经网络模型的经典结构包括最早用于数字识别的LeNet模型，以及2012年及以后获得ImageNet比赛冠军的模型，如AlexNet，VGGNet，GoogleNet及ResNet模型等。文献[93]在LeNet模型结构的基础上通过增加卷积层的方法对火焰进行检测，在它自己的数据图像测试集上检测结果高达97.9%；文献[94]将整幅图像中的候选火焰区域分割成多个相同的小网格，将每个小网格分别送入AlexNet模型进行训练分类，并使用土耳其比尔肯大学实验室的数据集进行实验，其中训练集的准确率为97%，测试集的准确率为90%。文献[95]以AlexNet模型结构为基础进行层数的调整进行火焰检测。文献[96]以AlexNet模型为基础，提出利用更小卷积核的SqueezeNet模型部分替换AlexNet模型结构，并在分类后对图像目标进行分割。由此可见目前基于深度学习的火焰检测算法对AlexNet模型的应用相对比较集中，或是直接应用或是在此基础上进行适当的改进，一方面是由于AlexNet模型的效果优于LeNet模型，另一方面由于AlexNet之后的改进模型计算复杂度、训练时间及“深度”等也会随之增大，所以AlexNet模型的层数及复杂度更适用于目前的火焰检测算法。

深度学习识别火焰方法与传统的火焰检测方法相比，其优点是：不需要人为进行火焰特征的提取 ^[

97]，而是利用已建立的模型提取特征，弥补手动提取特征中可能导致的信息缺失；在一定的场景下，其识别或分类能力优于现有算法；具有较好的稳定性。缺点是：深度学习火焰检测算法需要大量的火焰样本数据进行学习，若样本数据量有限，深度学习算法无法到达很好的精度；火焰检测的重点是对实时性的要求，但是深度学习模型的丰富形式使算法在时间上变得复杂，为确保算法的实时性，需要更高的并行编程技巧和更多的硬件支持；目前现有的基于深度学习的火焰检测算法都基于图像分类，而不是视频流的连续检测。

同时，目前基于深度学习的火焰检测算法没有很好地利用现有的深度学习的目标检测框架进行分类并定位。基于深度学习的目标检测框架，分为基于区域提取的目标检测框架(R⁃CNN, Fast R⁃CNN, Faster R⁃CNN)和基于回归的目标检测框架(YOLO, SSD)。基于区域提取的目标检测框架的优点在于检测的准确率，而基于回归的目标检测框架的优势在于检测速度。因此，今后基于深度学习的火焰检测算法可以充分利用两种目标检测方法的优点进行结合研究。此外也可以在现有的网络中加入时间信息，如长短期记忆网络等，实现对火焰视频流的检测。

5 基于视频的火焰检测算法对比

5.1 火焰视频数据基础

目前，基于视频的火焰技术研究过程中所用到的视频资源可以从表4中所列地址获取，研究者可以利用数据测试算法的有效性。

表4 火焰视频数据获取地址

Table 4 Flame video data acquisition address

机构名称	网址
土耳其比尔肯大学实验室/视觉研究室	http://signal.ee.bilkent.edu.tr/VisiFire/index.html http://signal.ee.bilkent.edu.tr/VisiFire/Demo/SmokeClips/ http://signal.ee.bilkent.edu.tr/visifire/ http://signal.ee.bilkent.edu.tr/VisiFire/Demo/SampleClips.html http://signal.ee.bilkent.edu.tr/VisiFire/Demo/FireClips/
萨勒诺大学研究室	http://mivia.unisa.it
意大利摩德纳大学	http://imagelab.ing.unimore.it/visor/
克罗地亚斯普利特大学	http://wildfire.fesb.hr/index.php
韩国启明大学实验室	http://cvpr.kmu.ac.kr/
江西财经大学袁非牛实验室	http://staff.ustc.edu.cn/~yfn/vsd.html
网络视频	http://cvpr.kmu.ac.kr/ http://www.videezy.com/fire_and_smoke/2513_smoke https://sites.google.com/site/smokedataset/smokedataset

5.2 不同算法性能对比

本节重点介绍前文所述内容所涉及的几种主要的基于视频火焰检测算法，算法性能对比如表5所示，其中处理时间表示的是平均处理每一帧所需要的时间；同时由于表中算法使用的训练及测试数据不同，其识别率不具有比较性。

表5 基于视频的火焰检测算法

Table 5 Video⁃based flame detection algorithms

算法	预处理	特征提取	分类方法	识别率/%	处理时间/s	算法特点
文献[ 4] 算法	运动分割	颜色、频闪、火焰尖角、面积增长、圆形度、整体移动	层次分析法	95.35	0.168	算法的复杂度相对较低，报警及时，鲁棒性强
文献[80]算法	颜色分割	频闪、纹理	支持向量机	96.29	0.570	利用特征的多种系数，规则简单，适用正常颜色范围的检测，若超出则失效
文献[84]算法	烟雾分割	颜色、纹理、运动	贝叶斯分类器	95.00	0.257	该算法只针对林火进行检测
文献[86]算法	颜色分割	纹理、频闪	极限学习机	95.65	0.480	可适用于不同环境下的火焰，尤其对实际环境中与火焰颜色相似的运动物体的区分
文献[88]算法	运动分割	颜色、纹理	深度置信网络	99.51	0.600	算法对于野外、山上等不同场景的准确性和鲁棒性都很高
文献[89]算法	—	颜色、纹理、边缘轮廓、运动方向、面积增长、质心变化	级联多个BP神经网络	90.94	—	主要为解决不同特征直接融合的问题，相比于用单个神经网络识别率有所提高
文献[90]算法	运动分割	颜色、边缘梯度、边缘不规则度、运动方向、运动速度	AdaBoost迭代多个SVM	99.69	—	对火焰检测算法提出了一种新的分类方法，对不同环境的适应能力很好，鲁棒性好

6 存在的问题及发展方向

6.1　存在的问题

通过视频监控及早地检测并识别火灾的发生，对于消防、交通安全、森林资源以及石化工厂等都有十分重要的意义。目前基于视频的火焰检测技术已经取得一些成果，并建立了一些成型的系统，如北京智安邦科技有限公司开发的VFSD系统、美国Anonx开发的SigniFire系列产品等。尽管火焰具有丰富的特征，但由于应用场合的多样性与复杂性等，与刚性物体的检测相比还是存在很多亟须解决以及优化的问题，对于目前基于视频的火焰检测算法存在的问题总结如下：

（1）识别的准确率低。目前基于视频的火焰检测算法，无论是应用静态特征、动态特征或是动静特征相结合进行识别，都会存在一定程度的误报率和漏报率，特别是在复杂场景下，误报率和漏报率更高。准确性不够的根本原因，一方面是现有的火焰特征不能准确地表征火焰本身，很多火焰特征同样适用于监控场景下的其他干扰物；另一方面，当前检测算法的适应性仍然存在不足，不同特征对不同场景的适应性也不同。

（2）检测速率不达标。对于石油化工、商场、公路等场所的监控都要求基于视频的火焰检测达到在线实时检测的标准，这就需要在几秒内完成对视频流中的多帧图像处理甚至更快，并且由于这些场所监控范围广、分辨率要求高，相应的火焰检测算法计算量往往很大，很难达到实时处理的要求。

（3）算法多项要求存在互斥性。基于视频的火焰检测对于准确性、适应性和实时性的要求呈正相关，但现有检测算法的上述多项要求存在矛盾，准确性高往往适应性差或实时性差；反之，适应性高或实时性高，准确率却低。

6.2　发展方向

随着大数据及机器视觉技术的不断发展，早期火灾的检测技术应用将拥有更广阔的发展空间和利用价值。基于视频的火焰检测算法发展方向总结如下：

（1）分析并提取更加本质的火焰特征。现有的检测算法缺乏对火焰特征深入且完整的分析与研究，目前基于视频的火焰检测算法仅对不同颜色模型分割进行了对比分析，对其他特征如纹理、频闪等特征的提取方法并没有进行系统的实验分析与对比。另一方面，为了火焰检测算法能够免受环境、光线、动态目标的干扰，有效提高准确率，降低误识率和漏报率，需要提取与火焰本身具有一一对应关系的特征，视频的时间压缩图像提供了一种有效的思路，能够自动过滤环境的影响和多数动态目标，对光照不敏感，保证了算法的准确性。

（2）进行决策级融合。目前大多数基于视频的火焰检测算法都是采用特征级进行融合，将几种静态特征、动态特征进行一定的算法融合进行火焰识别，虽然该方法在特定的环境下能够取得相对较好的检测结果，但当环境变化时这种特征级的融合效果往往表现不佳。鉴于这一问题，未来可以考虑进行决策级融合，将不同分类器的分类结果进行分析并按一定的算法融合，这是高水准的融合手段，容错性和开放性都有提高，可以保证在不同环境下检测结果的准确性。

（3）建立完备的数据库。基于视频的火焰检测算法随着机器视觉领域的不断发展也受到了越来越多专家和学者的关注，但是他们都是在特定的视频数据上检测自己的算法并取得相对较好的结果。然而基于视频的火焰检测受诸多外界因素的影响，如光照、天气、风向等，因此需要建立一个完备的数据库，让各种算法在统一的数据库上进行测试对比。目前只有几所国外的实验室公开了他们的数据库，但是国内外的环境、气候等都存在差异，中国更应该建立以国内环境为准的火焰视频库，这也将是一项有意义的研究工作。

（4）更好地引入深度学习网络。近年来，卷积神经网络对图像分类和目标检测等领域做出了巨大贡献，其超强的特征学习和分类能力引起了众多学者的关注，具有一定的研究和应用价值，虽然目前也有几篇关于深度学习的火焰检测算法，但都是基于图像的且都是在原始的框架基础上。目前深度学习的热潮依然高涨，因此通过不断改变模型结构、对参数进行量化分析以及对模型进行时间建模仍将是未来基于视频的火焰检测的一个主要研究方向。

7 结束语

基于视频的火焰检测已成为当今重点研究课题，将广泛应用于消防、交通、化工厂等各领域，对于保护人民财产安全、森林植被、化工设备等具有重要意义。近年来许多专家学者们在提高视频火焰识别率方面做出了许多努力，不同的特征级融合技术也不断创新，但是仍然存在着很大的挑战，如存在检测算法对于外部环境变化无法很好地适应，以及误检率高等问题，因此研究出适应性强、受突发情况影响小、检测率高、误识率低的火焰检测算法是未来的研究方向。

参考文献

CHEN J, HE Y, WANG J. Multi⁃feature fusion based fast video flame detection[J]. Building & Environment, 2010, 45(5): 1113⁃1122. [百度学术]

MUELLER M, KARASEV P, KOLESOV I, et al. Optical flow estimation for flame detection in videos[J]. IEEE Transactions on Image Processing, 2013, 22(7): 2786⁃2797. [百度学术]

HONG W B, PENG J W, CHEN C Y. A new image⁃based real⁃time flame detection method using color analysis[C]// IEEE International Conference on Networking, Sensing and Control, 2005. Tucson, AZ, USA: IEEE, 2005: 100⁃105. [百度学术]

曾思通，吴海彬，沈培辉. 基于多特征融合的视频火焰检测方法研究[J].图学学报，2017，8(4)： 549⁃557. [百度学术]

ZENG Sitong, WU Haibin, SHEN Peihui. Research on video flame detection based on multi⁃feature fusion [J]. Journal of Graphics, 2017, 8(4): 549⁃557. [百度学术]

李新利, 李楠, 孙愉佳, 等. 火焰自由基成像和极限学习机在NOx排放预测中的研究[J]. 系统仿真学报, 2016, 28(5):186⁃192. [百度学术]

LI Xinli, LI Nan, SUN Yujia, et al. The research of flame free radical imaging and limit learning machine in NOx emission prediction[J]. Journal of System Simulation, 2016, 28(5): 186⁃192. [百度学术]

杨俊，王润生. 基于计算机视觉的视频火焰检测技术[J].中国图像象图形学报，2008,13(7): 1223⁃1233. [百度学术]

YANG Jun, WANG Runsheng. Video flame detection technology based on computer vision[J].Chinese Journal of Image Graphics, 2008,13(7): 1223⁃1233. [百度学术]

吴茜茵，严云洋，杜静, 等.视频火焰检测综述[J].计算机科学与应用，2013, 3: 336⁃343. [百度学术]

WU Qiyin, YAN Yunyang, DU Jing, et al. Summary of video flame detection [J]. Computer Science and Applications, 2013, 3: 336⁃343. [百度学术]

何立夫, 陆佳政, 刘毓, 等. 输电线路山火可见光⁃红外多光源精准定位技术[J]. 高电压技术, 2018, 44(8): 136⁃142. [百度学术]

HE Lifu, LU Jiazheng, LIU Yu, et al. Accurate positioning technology of visible infrared multiple light sources for transmission line fires [J]. High Voltage Technology, 2018, 44(8): 136⁃142. [百度学术]

张叶. 森林火情烟雾识别算法研究[J]. 仪器仪表学报, 2014, 35(6): 103⁃106. [百度学术]

ZHANG Ye. Research on algorithm of forest fire smoke recognition [J]. Journal of Instruments and Instruments, 2014, 35(6): 103⁃106. [百度学术]

林宏, 刘志刚, 赵同林, 等. 基于视频的林火烟雾识别算法研究[J].安全与环境学报, 2013, 13(2): 210⁃214. [百度学术]

LIN Hong, LIU Zhigang, ZHAO Tonglin, et al. Research on video⁃based forest fire smoke recognition algorithm [J]. Journal of Safety and Environment, 2013, 13(2): 210⁃214. [百度学术]

赖孝君, 阎璐, 冯宪周,等. 基于红外视频的火灾探测算法[J]. 导航与控制, 2013, 12(4)： 30⁃36. [百度学术]

LAI Xiaojun, YAN Lu, FENG Xianzhou, et al. Fire detection algorithm based on infrared video [J]. Navigation and Control, 2013, 12(4): 30⁃36. [百度学术]

WANG W. An experimental investigation of a premixed laminar flame using tunable diode laser and quantitative imaging of radiation intensity[J]. Dissertations & Theses⁃Gradworks, 2015: 17⁃19. [百度学术]

刘丽媗, 庄坤森. 基于热释电传感器的红外火焰探测系统的研究[J].宁德师范学院学报:自然科学版, 2013, 25(3): 287⁃292. [百度学术]

LIU Liyan, ZHUANG Kunsen. Research on infrared flame detection system based on pyroelectric sensor[J]. Journal of Ningde Normal University: Natural Science Edition, 2013, 25(3): 287⁃292. [百度学术]

YUAN Chi, ZHANG Youmin, LIU Zhixiang. A survey on technologies for automatic forest monitoring, detection, and fighting using unmanned aerial vechicles and remote sensing techniques[J].Research Press, 2015(45): 783⁃792. [百度学术]

ZHAN Qian, SUN Fengdong, LI Wenhui. Flame detection using generic color model and improved block⁃based PCA in active infrared camera[J].International Journal of Pattern Recognition and Artificial Intelligence, 2018, 32(5): 1⁃15. [百度学术]

张慧珍, 严云洋, 刘以安, 等.基于超像素分割与闪频特征判别的视频火焰检测[J].数据采集与处理, 2018, 33(3): 512⁃520. [百度学术]

ZHANG Huizhen, YAN Yunyang, LIU Yian, et al. Video flame detection based on super⁃pixel segmentation and flash feature discrimination [J]. Data Acquisition and Processing, 2018, 33(3): 512⁃520. [百度学术]

CHINO D Y T, AVALHAIS L P S, RODRIGUES J F, et al. BoWFire: Detection of fire in still images by integrating pixel color and texture analysis[C]// Proceedings of 2015 28th SIBGRAPI Conference on Graphics, Patterns and Images. Salvador, Brazil: IEEE, 2015: 15573138. [百度学术]

王媛彬, 任杰英. 基于颜色特征的低照度林火图像分割方法[J]. 消防科学与技术, 2017, 36(10): 1401⁃1404. [百度学术]

WANG Yuanbin, REN Jieying. Low illumination forest fire image segmentation method based on color feature [J]. Fire Science and Technology, 2017, 36(10): 1401⁃1404. [百度学术]

MATLANI P, SHRIVASTAVA M. A survey on video smoke detection[J]. Information and Communication Technology for Sustainable Development, 2018, 8(9): 221⁃222. [百度学术]

LIU Y F, LIU Z G, WANG Y F, et al. Fast algorithm for YCbCr to HSV conversion based on fix⁃point DSP[J]. Application Research of Computers, 2012, 29(2): 741⁃738. [百度学术]

LIU Yan, WU Wei, WU Zhaohui,et al. Fire Detection in radiant energy domain for video surveillance[C]// Proceedings of 2015 International Conference on Virtual Reality and Visualization (ICVRV). [S.l.]: IEEE Computer Society, 2015: 1⁃8. [百度学术]

邵良杉, 郭雅婵. 基于Codebook的视频火焰识别算法[J]. 计算机应用, 2015, 35(5):1483⁃1487. [百度学术]

SHAO Liangshan, GUO yachan. Video flame recognition algorithm based on codebook [J]. Computer Application, 2015, 35(5): 1483⁃1487. [百度学术]

JIANG Xiangang, HU Chuanxiu, FAN Zizhu. Research on flame detection method by fusion feature and sparse representation classification[J].International Journal of Computer and Communication Engineering,2016,5(4): 238⁃245. [百度学术]

APPANA D K, ISLAM R, KHAN S A, et al. A video⁃based detection using smoke flow pattern and spatial⁃temporal energy analyses for alarm systems[J].Information Sciences, 2017,8: 91⁃101. [百度学术]

赵亮，骆炎民，骆翔宇. 基于背景动态更新与暗通道先验的火灾烟雾检测算法[J].计算机应用更新，2017, 34(3): 957⁃960. [百度学术]

ZHAO Liang, LUO Yanmin, LUO Xiangyu. Fire smoke detection algorithm based on background dynamic update and dark channel prior [J]. Computer Application Update, 2017, 34(3): 957⁃960. [百度学术]

陈俊周, 李炜, 王春瑶. 一种动态场景下的视频目分割方法[J]. 电子科技大学学报, 2014, 43(2): 252⁃255. [百度学术]

CHEN Junzhou, LI Wei, WANG Chunyao. A video segmentation method in dynamic scene[J]. Journal of University of Electronic Science and Technology, 2014, 43(2): 252⁃255. [百度学术]

KAABI R, FRIZZI S, BOUCHOUICHA M. Video smoke detection review[C]//Proceedings of International Conference on Smart, Monitored and Controlled Cities(SM2 [百度学术]

C). Kerkennah，Tunisia: [s.n.]， 2017: 17⁃19. [百度学术]

LI Zhenglin, ISUPOVA O, MIHAYLOVA L, et al. Autonomous flame detection in video based on saliency analysis and optical flow[C]// Proceedings of IEEE International Conference on Multisensor Fusion and Integration for Intelligent Systems. [S.l.]:IEEE, 2017: 218⁃223. [百度学术]

吴垠, 李良福, 肖樟树, 等. 基于尺度不变特征的光流法目标跟踪技术研究[J]. 计算机工程与应用, 2013, 49(15): 157⁃161. [百度学术]

WU Yin, LI Liangfu, XIAO Zhangshu, et al. Research on target tracking technology of optical flow method based on scale invariant features [J]. Computer Engineering and Application, 2013, 49(15): 157⁃161. [百度学术]

陈磊, 黄继风. 基于视频的火焰检测方法[J]. 计算机工程与设计, 2014, 35(9): 3143⁃3147. [百度学术]

CHEN Lei, HUANG Jifeng. Video⁃based flame detection method [J]. Computer Engineering and Design, 2014, 35(9): 3143⁃3147. [百度学术]

王文豪, 陈晓兵, 刘金岭. 基于连通区域和SVM特征融合的火灾检测[J]. 计算机仿真, 2014, 31(1):383⁃387. [百度学术]

WANG Wenhao, CHEN Xiaobing, LIU Jinling. Fire detection based on connected region and SVM feature fusion [J]. Computer simulation, 2014, 31(1): 383⁃387. [百度学术]

WANG Lin, LI Aiguo. Early fire recognition based on multi⁃feature fusion of video smoke[C]//Proceedings of 36th Chinese Control Conference. Dalian, China: [s.n.],2017: 5318⁃5323. [百度学术]

吴亮生, 雷欢, 黄东运. 基于混合高斯运动检测模型与多特征的烟雾识别算法[J]. 自动化与信息工程, 2014(2): 1⁃5. [百度学术]

WU Liangsheng, LEI Huan, HUANG Dongyun. Smoke recognition algorithms based on mixture gauss motion detection model and multi⁃feature[J]. Automation and Information Engineering, 2014(2): 1⁃5. [百度学术]

梅建军, 张为. 基于ViBe与机器学习的早期火灾检测算法[J]. 光学学报, 2018, 38(7): 52⁃59. [百度学术]

MEI Jianjun, ZHANG Wei. Early fire detection algorithm based on ViBe and machine learning [J]. Journal of Optics, 2018, 38(7): 52⁃59. [百度学术]

严云洋, 吴茜茵, 杜静, 等. 基于色彩和闪频特征的视频火焰检测[J]. 计算机科学与探索, 2014, 8(10):1271⁃1279. [百度学术]

YAN Yunyang, WU Xiyin, DU Jing, et al. Video flame detection based on color and flicker characteristics [J]. Computer Science and Exploration, 2014, 8(10): 1271⁃1279. [百度学术]

卢鑫, 曹江涛, 姬晓飞, 等. 基于多特征的火灾监控系统设计[J]. 辽宁石油化工大学学报, 2018, 39(1): 92⁃98. [百度学术]

LU Xin, CAO Jiangtao, JI Xiaofei, et al. Design of fire monitoring system based on multiple features [J]. Journal of Liaoning University of Petroleum and Chemical Technology, 2018,39(1): 92⁃98. [百度学术]

杨亚洁, 薛静, 乔鸿海, 等. 基于多特征匹配的视频图像火灾火焰检测方法研究[J]. 电子设计工程, 2014, 22(3): 186⁃189. [百度学术]

YANG Yajie, XUE Jing, QIAO Honghai, et al. Research of fire flame detection method in video image based on multi⁃features matching [J]. Electronic Design Engineering, 2014, 22(3): 186⁃189. [百度学术]

宋宁, 强彦, 董林佳. 林火监测中基于视觉的火焰检测方法[J]. 科学技术与工程, 2017(25): 268⁃273. [百度学术]

SONG Ning, QIANG Yan, DONG Linjia. Vision⁃based flame detection method in forest fire monitoring[J]. Science and Technology and Engineering, 2017(25): 268⁃273. [百度学术]

SEEBAMRUNGSAT J, PRAISING S, RIYAMONGKOL P. Fire detection in the buildings using image processing[C]//Proceedings of Student Project Conference. [S.l.]:IEEE, 2014: 95⁃98. [百度学术]

CETIN A E, DIMITROPOULOS K, GOUVERNEUR B, et al. Video fire detection—Review[J]. Digital Signal Processing, 2013, 23(7): 1827⁃1843. [百度学术]

耿庆田, 于繁华, 赵宏伟,等. 基于颜色特征的火焰检测新算法[J]. 吉林大学学报: 工学版, 2014, 44(6): 1787⁃1792. [百度学术]

GENG Qingtian, YU Shenghua, ZHAO Hongwei, et al. New algorithm for flame detection based on color feature[J]. Journal of Jilin University: Engineering Edition, 2014, 44(6): 1787⁃1792. [百度学术]

何大超，娄小平，唐辉.基于动态特征的实时烟雾检测[J].计算机应用与软件，2014,31(2): 202⁃204. [百度学术]

HE Dachao, LOU Xiaoping, TANG Hui. Real⁃time smoke detection based on dynamic characteristics [J]. Computer Applications and Software, 2014, 31(2): 202⁃204. [百度学术]

聂建豪, 李士进. 基于图像识别的秸秆焚烧事件检测[J]. 计算机技术与发展, 2017(5): 69⁃72. [百度学术]

NIE Jianhao, LI Shijin. Straw burning event detection based on image recognition [J]. Computer Technology and Development, 2017(5): 69⁃72. [百度学术]

张霞, 黄继风. 结合LBP直方图和SVM的视频火焰检测[J]. 计算机应用与软件, 2016, 33(8): 216⁃220. [百度学术]

ZHANG Xia, HUANG Jifeng. Video flame detection combined with LBP histogram and SVM [J]. Computer Applications and Software, 2016, 33(8): 216⁃220. [百度学术]

ZHAO Y, JIA W, RONG X H, et al. Completed robust local binary pattern for texture classification[J]. Neurocomputing, 2013(106): 68⁃76. [百度学术]

江帆, 刘辉, 王彬, 等. 基于火焰图像CNN的转炉炼钢吹炼终点判断方法[J]. 计算机工程, 2016, 42(10): 277⁃282. [百度学术]

JIANG Fan, LIU Hui, WANG Bin, et al. Endpoint judgment method of converter steelmaking and blowing based on flame image CNN [J]. Computer Engineering, 2016, 42(10): 277⁃282. [百度学术]

ZHANG Yanjun, SHAO Mingliang. Video smoke detection based on wavelet texture features[J]. Optical Technique, 2013, 39(4): 348⁃353. [百度学术]

胡勤, 陈琛, 刘敏. 一种基于动态纹理的烟雾和火焰检测方法[J]. 消防科学与技术, 2014, 33(6): 667⁃669. [百度学术]

HU Qin, CHEN Chen, LIU Min. A smoke and flame detection method based on dynamic texture [J]. Fire Science and Technology, 2014, 33(6): 667⁃669. [百度学术]

YANG X, WANG J, HE S. A SVM approach for vessel fire detection based on image processing[C]//Proceedings of International Conference on Modelling, Identification & Control. [S.l.]: IEEE, 2012: 150⁃153. [百度学术]

LI Kai, LI Shengbo, LIU Rui. Flame detection based on video[J]. Computer Science and Application, 2016, 3(6): 1⁃7. [百度学术]

WU Xiyin, YAN Yunyang, DU Jing. Fire detection based on fusion of multiple features[J]. CAAI Transaction on Intelligent System, 2015(10): 240⁃247. [百度学术]

仇国庆, 蒋天跃, 冯汉青,等. 基于火焰尖角特征的火灾图像识别算法[J]. 计算机应用与软件, 2013(12): 52⁃55. [百度学术]

QIU Guoqing, JIANG Tianyue, FENG Hanqing, et al. Fire image recognition algorithm based on flame sharp corner feature[J]. Computer Application and Software, 2013(12): 52⁃55. [百度学术]

SARASWATI S. Identification of flame development and rapid burning angle for SI engine[C]// Proceedings of 2014 Students Conference on Engineering and Systems(SCES). [S.l.]: IEEE, 2014: 22⁃28. [百度学术]

YANG Jineng, BU Leping, YANG Zhikai. An early flame identification method based on edge gradient feature[C]// Proceedings of IEEE Advanced Information Management, Communicates, Electronic and Automation Control Conference. [S.l.]:IEEE, 2018: 642⁃646. [百度学术]

石勇, 鲍可进. 一种基于图像多特征的火焰识别算法[J]. 无线通信技术, 2014, 23(3): 53⁃58. [百度学术]

SHI Yong, BAO Kejin. A flame recognition algorithm based on image multi⁃feature[J]. Wireless Communication Technology, 2014, 23(3): 53⁃58. [百度学术]

熊国良, 苏兆熙, 刘举平,等. 火焰特性识别的Matlab实现方法[J]. 计算机工程与科学, 2013, 35(7): 131⁃136. [百度学术]

XIONG Guoliang, SU Zhaoxi, LIU Juping, et al. Realization method of flame characteristic recognition by MATLAB[J]. Computer Engineering and Science, 2013, 35(7): 131⁃136. [百度学术]

孙建坤, 杨若瑜. 基于颜色直方图和小波变换的视频烟雾检测[J].计算机科学, 2014, 41(12): 82⁃88. [百度学术]

SUN Jiankun, YANG Ruoyu. Video smoke detection based on color histogram and wavelet transform[J]. Computer Science, 2014, 41(12): 82⁃88. [百度学术]

李雪宝，黄徐胜，郑艳芳, 等. 基于小波变换的森林火灾烟雾检测算法设计[J].信息技术, 2017,10(3): 11⁃13. [百度学术]

LI Xuebao, HUANG Xusheng, ZHENG Yanfang, et al. Design of smoke detection algorithm for forest fire based on wavelet transform [J]. Information Technology, 2017, 10(3): 11⁃13. [百度学术]

SUN Jian. Morphological undecimated wavelet decomposition fusion algorithm and its application on fault feature extraction of hydraulic pump[J]. Transactions of Nanjing University of Aeronautics & Astronautics, 2015, 32(3): 268⁃278. [百度学术]

CHI Rui, LU Zheming, JI Qingge. Real⁃time multi⁃feature based fire flame detection in video[J].IET Image Processing, 2017, 11(1): 31⁃37. [百度学术]

ERDEN F, TÖREYIN B U, SOYER E B, et al. Wavelet based flame detection using differential PIR sensors[C]//Proceedings of Signal Processing and Communications Applications Conference. [S.l.]:IEEE, 2012: 1⁃4. [百度学术]

ZHU R, HU X, TANG J, et al. A novel approach for fire recognition using hybrid features and manifold learning⁃based classifier[C]//Proceedings of MIPPR 2017: Pattern Recognition and Computer Vision. Wuhai, China: [s.n.], 2017: 10609. [百度学术]

WU X, LU X, LEUNG H. A video based fire smoke detection using robust AdaBoost[J]. Sensors, 2018, 18(11): 3780. [百度学术]

CHEN Kang, LI Yaohui, YOU Feng. Smoke detection algorithm about video image with multiple features based on serial and parallel processing model[J]. Computer and Modernization, 2017(4): 1⁃22. [百度学术]

LI Shuangqun, WU Liu, MA Huadong. Multi⁃attribute based fire detection in diverse surveillance videos[C]// Proceedings of International Conference on Multimedia Modeling. [S.l.]:Springer, 2017: 238⁃250. [百度学术]

FOGGIA P, SAGGESE A, VENTO M. Real⁃time fire detection for video⁃surveillance applications using a combination of experts based on color, shape, and motion[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2015, 25(9): 1545⁃1556. [百度学术]

罗胜，Jiang Yuzheng.视频检测烟雾的研究现状[J].中国图象图形学报，2013,18(10): 1225⁃1236. [百度学术]

LUO Sheng, JIANG Yuzheng. Research status of video smoke detection [J]. Chinese Journal of Image and Graphics, 2013, 18(10): 1225⁃1236. [百度学术]

PEREZ A, TABIA H, DECLERCQ D，et al. Using the conflict in Dempster⁃Shafer evidence theory as a rejection criterion in classifier output combination for 3D human action recognition[J]. Image & Vision Computing, 2016, 55: 149⁃157. [百度学术]

HAN Xianfeng, JIN J S, WANG Mingjie, et al. Video fire detection based on guassian mixture model and multi⁃color features[J]. Signal, Image and Video Processing, 2017(11): 1419⁃1425. [百度学术]

金肖, 叶锦华, 杨素珍. 多特征融合视频火灾识别研究[J]. 机械制造与自动化, 2019(4)： 163⁃167. [百度学术]

JIN Xiao, YE Jinhua, YANG Suzhen. Research on multi feature fusion video fire recognition [J]. Machinery Manufacturing and Automation, 2019(4): 163⁃167. [百度学术]

陈康，李耀华，游峰，等. 基于串并行处理的多特征交通视频烟雾检测算法[J]. 计算机与现代化，2017,4(1): 1⁃6. [百度学术]

CHEN Kang, LI Yaohua, YOU Feng，et al. Multi⁃feature traffic video smoke detection algorithm based on serial⁃parallel processing [J]. Computer and Modernization, 2017, 4(1): 1⁃6. [百度学术]

张长勇, 吴智博, 杨建忠. 基于D⁃S证据理论的飞机火情检测方法[J]. 消防科学与技术, 2018(1): 122⁃124. [百度学术]

ZHANG Changyong, WU Zhibo, YANG Jianzhong. Aircraft fire detection method based on D⁃S evidence theory[J]. Fire science and technology, 2018(1): 122⁃124. [百度学术]

LIU S, ZHANG Z, QI L. Distribution of primary additional errors in fractal encoding method[J]. Multimedia Tools and Applications, 2017, 76(4): 5787⁃5802. [百度学术]

钟玲, 张兴坤. 基于SVM的视频图像火焰检测[J]. 软件工程, 2017, 20(6): 1⁃4. [百度学术]

ZHONG Ling, ZHANG Xingkun. Video image flame detection based on SVM [J]. Software Engineering, 2017, 20(6): 1⁃4. [百度学术]

LIU Li, SHAO Ling, ROCKETT P. Human action recognition based on boosted feature selection and naive Bayes nearest⁃neighbor classification[J]. Signal Processing, 2013, 93(6): 1521⁃1530. [百度学术]

董力, 陆中, 周伽. 基于遗传算法的混合威布尔分布参数最小二乘估计[J]. 南京航空航天大学学报, 2019,51(5): 711⁃718. [百度学术]

DONG Li, LU Zhong, ZHOU Jia. Least square estimation of parameters of hybrid Weibull distribution based on genetic algorithm [J]. Journal of Nanjing University of Aeronautics and Astronautics, 2019,51(5): 711⁃718. [百度学术]

LI K, KONG X, LU Z, et al. Boosting weighted ELM for imbalanced learning[J]. Neurocomputing, 2013, 128(5): 15⁃21. [百度学术]

柴瑞敏, 曹振基. 基于Gabor小波与深度信念网络的人脸识别方法[J]. 计算机应用, 2014, 34(9): 2590⁃2594. [百度学术]

CHAI Ruimin, CAO Zhenji. Face recognition method based on Gabor wavelet and deep belief network [J]. Computer Application, 2014, 34(9): 2590⁃2594. [百度学术]

SEO J, LI M, KIM C H. An optimal many⁃core model⁃based supercomputing for accelerating video⁃equipped fire detection[J]. Supercomput, 2015(71): 2275⁃2308. [百度学术]

PREMA C E, VINSLEY S, SURESH S. Multi feature analysis of smoke in YUV color space for early forest fire detection[J].Fire Technololy,2016. DOI:10.1007/s10694⁃01⁃0580⁃8. [百度学术]

王东风, 孟丽. 粒子群优化算法的性能分析和参数选择[J]. 自动化学报, 2016, 42(10): 1552⁃1561. [百度学术]

WANG Dongfeng, MENG Li. Performance analysis and parameter selection of particle swarm optimization algorithm[J]. Journal of Automation, 2016, 42(10): 1552⁃1561. [百度学术]

段锁林, 任珏朋, 毛丹, 等. 基于改进的PSO优化SVM火灾火焰识别算法研究[J]. 计算机测量与控制, 2016, 24(4): 202⁃205. [百度学术]

DUAN Suolin, REN Juepeng, MAO Dan, et al. Fire flame recognition algorithm based on particle swarm optimization⁃based SVM[J]. Computer Measurement and Control, 2016, 24(4): 202⁃205. [百度学术]

赵文涛，孟令军，赵好. 朴素贝叶斯算法的改进与应用[J]. 测控技术，2016, 35(2)： 143⁃147. [百度学术]

ZHAO Wentao, MENG Lingjun, ZHAO Hao. Improvement and application of naive Bayesian algorithms[J]. Measurement and Control Technology, 2016, 35(2): 143⁃147. [百度学术]

刘臣园, 黄劼, 高小娇. 基于贝叶斯分类器的林火识别方法研究[J]. 工业控制计算机, 2016, 29(3): 37⁃38. [百度学术]

LIU Chenyuan, HUANG Jie, GAO Xiaojiao. Research on forest fire recognition method based on Bayesian classifier[J]. Industrial Control Computer, 2016, 29(3): 37⁃38. [百度学术]

段锁林, 顾川林. 基于BP神经网络视频火灾火焰检测方法[J]. 常州大学学报:自然科学版, 2017, 29(2): 65⁃70. [百度学术]

DUAN Suolin, GU Chuanlin. Video fire detection method based on BP neural network[J]. Journal of Changzhou University: Natural Science Edition, 2017, 29(2): 65⁃70. [百度学术]

PREMA C E, VINSLEY S, SURESH S. Efficient flame detection based on static and dynamic texture analysis in forest fire detection[J].Fire Technololy,2018,10(54): 255⁃288. [百度学术]

陈娜, 蒋芸, 邹丽. 基于判别式受限玻尔兹曼机的医学图像分类法[J]. 计算机科学, 2015, 42(5): 315⁃319. [百度学术]

CHEN Na, JIANG Yun, ZOU Li. Medical image classification Based on discriminant restricted Boltzmann machine[J]. Computer Science, 2015, 42(5): 315⁃319. [百度学术]

PUNDIR A S, RAMAN B. Deep belief network for smoke detection[J]. Fire Technology, 2017(2): 1⁃18. [百度学术]

MUHAMMAD K, AHMAD J. Efficient deep CNN⁃based fire detection and localization in video survellance applications[J]. IEEE Transactions on Systems, Man, and Cybernetics: Systems, 2019, 49(7): 1419⁃1434. [百度学术]

LU C, LU M, LU X, et al. Forest fire smoke recognition based on multiple feature fusion[C]// Proceedings of IOP Conference Series: Materials Science and Engineering. [S.l.]:IOP Publishing, 2018, 4351): 012006. [百度学术]

钱付兰,李建红,赵姝,等. 基于深度混合模型评分推荐[J]. 南京航空航天大学学报, 2019,51(5): 592⁃598. [百度学术]

QIAN Fulan, LI Jianhong, ZHAO Shu, et al. Recommendation based on the deep mixed model [J]. Journal of Nanjing University of Aeronautics and Astronautics, 2019,51(5): 592⁃598. [百度学术]

WU Hao, LIU Qi, LIU Xiaodong. A review on deep learning approaches to image classification and object segmentation[J]. Tech Science Press,2018(1): 1⁃22. [百度学术]

张珊, 逯瑜娇, 罗大为. 基于深度学习的目标检测算法综述[J]. 计算机科学, 2018, 10(10): 123⁃135. [百度学术]

ZHANG Shan, KUI Yujiao, LUO Dawei. Overview of target detection algorithms based on in⁃depth learning[J]. Computer Science, 2018, 10(10): 123⁃135. [百度学术]

FRIZZI S, KAABI R, BOUCHOUICHA M. Convolutional neural network for video fire and smoke detection[C]//Proceedings of IECON 2016—42nd Annual Conference of IEEE. [S.l.]: IEEE, 2016: 877⁃882. [百度学术]

ZHANG Qingjie, XU Jiaolong, XU Liang. Deep convolutional neural network for forest fire detection[C]//Proceedings of International Forum on Management, Education and Information Technology Application. Shenzhen, China: [s.n.], 2016: 568⁃574. [百度学术]

REGI M, VARGHESE R G, SIDHARTH V. Deep learning based fire detection system[J]. International Journal of Knowledge Based Computer Systems, 2018, 76(1): 18⁃22. [百度学术]

AHMAD J, BELLAVISTA P. Efficient deep CNN⁃based fire detection and localization in video surveillance applications[J]. IEEE Transactions on Systems, Man, and Cybernetics, 2018(3): 1⁃13. [百度学术]

您是本站第访问者

通信地址：南京市御道街29号南京航空航天大学(明故宫校区)

邮编：210016 传真：025-84892742

电话：025-84892742 E-mail：sjcj@nuaa.edu.cn

技术支持：北京勤云科技发展有限公司

基于视频的火焰检测算法综述 PDF

摘要

关键词

引 言

1 基于视频的火焰检测步骤

2 预处理

2.1 基于颜色分割的处理技术

2.2 基于运动分割的处理技术

3 特征提取

3.1 静态特征提取

3.1.1 颜色特征

3.1.2 纹理特征

3.1.3 火焰形状特征

3.1.4 颜色边缘梯度特征

3.2 动态特征提取

3.2.1 面积变化特征

3.2.2 整体移动特征

3.2.3 频闪特征

3.2.4 运动方向特征

3.2.5 形状变化特征