第14卷第4期2009年4月中国图象图形学报JournalofImageandGraphicsV01.14。No.4Apr.,2009基于小波分析的烟雾多特征融合和空间精度补偿森林火情检测算法杨猛赵春晖潘泉张绍武(西北工业大学自动化学院,西安710072)摘要提出一种基于烟雾图像多特征融合和空间精度补偿的森林火情检测算法。该笄法首先将基于小波分析和运动分析的烟雾检测结果进行融合,然后利用烟雾的颜色特征和运动特征将融合检测结果累积,实现检测烟雾,并基于图像巾的地平线信息进行空间精度补偿下的烟雾区域提取。实验结果表明此算法可提高检测的准确性,降低误检率,对环境较为鲁棒,在森林防火中具有重要的应用价值。关键词烟雾检测小波分析多特征融合空问精度补偿文章编号:1006.8961(2009)04.0694.07中图法分类号:TP391.4文献标识码:AForest-fireDetectionAlgorithmBasedonMultipleFeaturesFusionbyWaveletAnalysisandSpatialAccuracyCompensationQuart,ZHANGShao·WU710072)YANGMeng,ZHAOChun—hui,PAN(Collegeo/Auwmatwn。Nonhwes比rnPolytechnicalUniversity。Xi’anAbstractspatialAnalgorithmfordetectingforest-firewasproposed,whichwasbasedonmultiplefeaturesfusionofsmokeandwereaccuracycompensation.Firstlythedetectionresultsderivedseparatelyfrommotionanalysisandwaveletanalysiswerefused,andthenthefusionresultssmokeprofilesonacumulatedusingsmokecolorandmotionaccuracycuestorealizethesmokedetection.Theourwereextractedwithspatialcompensationbasedouronthescenehorizon.Wehavetestedalgorithmovernumberofimagesequences,andtheresultsshowthatofforest-firedetection,decreasefalsealarmratealgorithmcanprovidesignificantimprovementsapproachaccuracyandenhancetherobustness.Thishasimportantapplicationvalueinforest-firesurveillancesystem.Keywordssmokedetection,waveletanalysis,multiplefeaturesfusion,specialaccuracycompensation林火灾产生的烟雾、火焰等引起的遥感图像变化进1引言行检测;基于红外图像检测方法根据森林火焰的红外辐射变化进行检测,然而这两种方法存在着~定森林是火灾的重灾区,森林火灾频发,给国家和人民造成巨大的损失。对森林火险进行早期预警是降低森林火灾损失的一个有效途径。目前的森林火情图像检测方法主要分为三大类:基于卫星图像检测方法;基于红外图像检测方法和基于地面载台可见光图像检测方法。基于卫星图像检测方法利用森的缺陷。卫星图像检测方法只能检测卫星飞过的区域且检测延迟较大,红外图像检测方法虽然具有全天候、抗背景f扰的优点,但对火情而言,烟雾出现早于明火,检测火焰相对于检测火情烟雾有一定的时间滞后,而红外图像检测烟雾通常较难,一般常用来检测明火‘1-2]。基于地面载台可见光图像检测方基金项目:国家自然科学基金重点项甘(60634030);国家自然科学基金项目(60372085);航空科学基金项目(2006ZC53037)收稿日期:2007-09-14;改回日期:2007.11.26第一作者简介:杨猛(1983一),男。西北工业大学控制理论与控制工程专业硕士研究生。主要研究方向为计算机视觉、视频处理与罔像分析。E·mail:yangmengnwpu@yahoo.corn.cn万方数据第4期杨猛等:基于小波分析的烟雾多特征融合和空间精度补偿森林火情检测算法695法通常将可见光波段CCD摄像机架设于较高的观察塔顶,对场景进行监控,通过对场景空间图像分析进行检测,根据检测对象的不同,分为火焰检测和烟雾检测。火焰检测方法”1是通过分析火焰RGB3个颜色通道的值以及火焰区域变化来进行检测的,然而火焰较小时容易被树遮挡,难以检测到。火灾发生卜1规律表明,火情烟雾的出现早于明火的出现,且烟雾不容易被遮挡,因此基于地面载台可见光图像烟雾检测方法是森林火情检测领域的一个重要研究方向。目前,烟雾检测方法¨J41大多是基于灰度图像求取帧间差异找出图像亮度变化区域,然后利用区域直方图或亮度变化阈值判断检测区域是否为烟雾区域,以及采用小波分析和光流技术相结合的方法进行烟雾检测和测量。也有学者利用小波方法对彩色图像进行近距离烟雾视频检测…。这些方法利用了烟雾本身的一些特性,如烟雾的相对低频运动特性、烟雾的出现会导致边缘模糊的特性等,进行烟雾检测,在一些简单的环境中检测比较有效。森林场景存在着诸如树枝晃动、云的飘动和其他物体运动的干扰,而现有亮度差异检测区域直方图判断及小波分析等烟雾检测方法¨j‘刊常常将这些干扰误检为烟雾,同时单一烟雾特性检测会引起烟雾区域检测的不完整。此外,森林场景是一种开放大环境。空间精度信息损失严重,这也增大了检测的误检率和漏检率。本文在分析图像中烟雾特征的基础上提出了基于小波分析的多特征融合烟雾检测和空间精度补偿下的烟雾区域提取算法。算法首先将基于小波分析和运动分析的烟雾检测结果进行融合,然后利用烟雾的颜色特征和运动特征将融合检测结果累积;烟雾区域提取算法利用地平线信息对累积结果进行空间精度补偿下的烟雾区域提取。2基于小波分析的多特征融合烟雾检测算法2.1图像中烟雾特征分析图像中烟雾的颜色具有一定的特征,即森林火灾烟雾一般为非彩色的,且与亮度无关。由于Lab色彩空间是均匀色彩空间,因此在Lab色彩空间中对森林场景中的树枝叶、薄烟以及浓烟进行采样分析,为避免亮度的影响,只分析颜色分量口和b值,结果如图1(a)所示。用a—b空间中颜色向量(以原万方数据点为起点)的模值D(£,歹,,)度量其色彩差异,如图1(b)。D(i,歹∞=√8(i,歹o2+6(i,.『∞2(1)式中,D(i,_『∽为第/帧像素(i,J)的色彩度量;n(i√∽为第,帧像素(i,.『)颜色分量口;b(i,歹/)为第,帧像素(i,J)颜色分量b。(a)典型景物色彩分析(b)典型景物的颜色向置模值分析图l典型景物分析Fig.1Representativesceneryanalysis图像中烟雾使其出现区域变得模糊,即区域的空域小波变换系数的空间分布同原始图像的空间分布具有很好的对应关系,因此可采用小波方法分析(1)计算当前帧即第,帧图像像素(i,_『)高频分边缘和细节信息减小,与之对应的高频分量减小。烟雾的出现。由于HL、LH、HH频带系数分别描述量值水平方向、竖直方向、对角线方向的高频信息,因此它们都能反映烟雾使其出现区域变得模糊这一现象。实验中发现HL、LH、HH各频带检测效果几乎相同,且效果都较好,所以仅对LH频带系数分析。分析过程为:中困图象图形学报第14卷D(i,歹∥=D。。(Li/2j,L弘j∞式中,D删(Li/2j,L弘J,力为采用Mallat算法得到的第,帧像素(Li/2j,Ij/2J)的LH频带分量值,Lj为向下取整运算符。(2)计算第/帧图像像素(i,_『)高频分量值与原始图相对应亮度之比值,并将此值归一到[0,255]。W(i,.『∽=NormalE蛸5】{D(i,J∽∥(i,-『∽}式中,形(i,j,力为归一化后第,帧图像像素(i,-『)高频分量值;Z(f,.『,力为第,帧图像像素(i,.『)亮度值;Normal[0.255】{·}为归一化运算符。(3)可取第一帧形(i,j,1)为背景帧,计算图像中高频分量减小量,即第/帧像素(i,J)高频分量减小值avr(i,歹∽;Aw(i,.『力=形(i,_『,I)一W(i,.『力AW(i√∽为正值的像素,其高频分量减小,基于小波分析的检测结果为驴’(i,歹,力。W’(i,-『,f)的计算为眦_『∽=∥‘加巍以加刈(2)(4)为滤出噪声点的污染,对结果形7(i,_『,f)进行3×3平滑滤波,滤波后基于小波分析检测结果为lIL(f,,∽=坚堡土—广—一(3)∑∑形’(i+m,j+n∽图像中,烟雾出现区域像素的灰度变化为相对低频变化…,这是烟雾的运动特性,因此可合理地假设在通常帧采样率(25帧左右)时,连续两帧间烟雾区域像素是没有亮度变化的。烟雾运动特性分析如下:,(i√∽=lz(i,.『∽一z(iJ/一Ⅳ)I(4)‘(i,歹刀=fz(i,歹,£)一z(i√,,一1)l+Iz(i,J,f一(|I、r—I))一z(ij/一^7){(5)式中,,(f,歹,/)表示第/帧图像的相对低频变化,即烟雾引起的亮度变化,,。(i,J,f)表示第,帧图像的快速变化,即一些非烟雾干扰和电子噪声引起的。Ⅳ为间隔帧数,其选择决定了对缓慢运动的检测精度,同时与处理器速度及内存大小有关。万方数据图像中,烟雾出现区域的像素具有持续重要的灰度值变化…。由于烟雾源固定,烟雾将会持续出现在某一固定区域内,因此烟雾出现区域像素具有持续的灰度值变化,称之为烟雾的空间特性。2.2基于小波分析的多特征融合烟雾检测算法设计在森林火情烟雾检测中,发现烟雾的运动特性和烟雾对图像边缘和细节的模糊特性具有互补性,即烟雾运动平缓区域会导致边缘和细节的模糊,甚至消失,但此时烟雾运动特性不明显;而烟雾运动剧烈的区域,图像边缘和细节的模糊特性不显著,运动特性明显,因此两者可进行融合。同时考虑到烟雾的颜色特征、相对低频运动特征以及烟雾经常出现在某一固定区域的空间特征,提出了基于小波分析的多特征融合烟雾检测算法。其表达式为:ltot,j。n=01一P、)ltoi。}。}一Af)+P(k.(f,.『∥k:(i,_『∽,㈨。。(i,.『栅(6)式中,,。(f,.『∽为第厂帧图像多特征累积检测结果;Ⅳ为算法处理时的帧间隔,一般取Af=1;p为时间累积因子,P=1/N;I州。。(i,_『刀为第厂帧图像基于小波分析和运动分析的烟雾检测融合结果,计算如下:,fu。‰(i,_『力=a1(i,’『∽+(1一01),,(iJ∽(7)式中,a(0≤a≤1)为可变参数,可取a=—{}maxf。为,。(£,歹,,)的最大值,max:为max:十nlax:,(i,.『,力的最大值,L(i,-『∽为第,帧基于小波分析检测结果。k,(i√∽为烟雾运动特征累积因子,计算如下:州u棚={o‘姜pL式中,℃为非烟雾干扰、电子噪声检测阈值。为克服噪声的影响以及使快速运动物体检测完整,一般要先对,。(i,_『∽做膨胀和腐蚀的形态学操作,然后计算k。(i,j∽。蠡:(ij∽为烟雾颜色特征累积因子,计算如下:k2(i,_『∽=AD(iJ门≤TlA一型!:!塑二!!!:TI<D(i,-『刀≤咒(孔一T,)2/A0其他L(z,.『力,计算如下:第4期杨猛等:基于小波分析的烟雾多特征融合和空间精度补偿森林火情检测算法697式中,A为增益系数,瓦为浓烟与薄烟之间色彩度量临界值,已为薄烟与树之间色彩度量临界值。由图l的结果,可取T。=15,L=40,AE[1,2.5]且A∈R。3空间精度补偿下的烟雾区域提取在森林火情检测这种开放大环境中,摄像机视野很远,通常采集到的图像会出现地平线。由于采集到的图像只是3维真实坐标向图像平面坐标的投影,缺乏深度信息,因此空间精度信息大量损失,且在森林火情检测中尤其突出,表现在:对于同样大小变化幅值的单个像素,随着与摄像机距离的增大,在图像上反映的变化幅度会减小;对于同样大小的变化区域,随着与摄像机距离的增大,映射在图像上的像素数量会减小。这也是目前烟雾检测算法采用整幅图像全局阈值,造成较远处烟雾源易被漏检,较近处干扰易被误检的主要原因之一。而监控场景中地平线位置.信息恰恰在相当大的程度上反映了空间距离信息,因此可利用图像中地平线位置信息,进行空间精度信息补偿下的烟雾区域提取。3.1确定地平线位置一种小型无人机基于图像地平线确定方法¨’为搜索一条直线作为地平线,使其分开的天空图像和地面图像的类内距离之和最小。该算法存在两个不足:地平线方向未定,所以要在整幅图像以及各个方向搜索,计算量大;其次是不适合地平线为曲线的场景。在此算法基础上,提出了一种改进的地平线位置确定算法,其算法步骤如下:(1)求取前’肘帧图像平均亮度图像作为背景图像F(i,.『),并对背景图像F(i,.『)用Sobel算子"’提取水平边缘点pixel。M取决于摄像机云台的稳定性,云台越稳定,肼取值越小,通常M取6。(2)用多个水平线段拟合地平线。将图像分为m段等宽度的列带,若场景较为平坦,m取较小值;若场景中地平线变化幅度较大,则m可取较大值。(3)在每个列带内做以下处理:在提取到的每个边缘点pixel上,设定此列带内的地平线为经过该边缘点的水平线段,求取G(pixel)最大值对应的水平线段。G(pixel)的定万方数据义为:G(pixel)=A:A;A;+Ag。^:gA;+(A:+A:+A;)2+(A:+A:+A;)2其参数A:(A:),A:(A:),A;(A;)分别为天空(地面)图像对应的红,绿,蓝通道的方差值。(4)求出所有图像列带的地平线线段,则整个图像地平线为这砦地平线段的联合。3.2空间精度信息补偿下的烟雾区域提取算法像素P:二值化阈值T(p;),及二值化后的图像做四连通域滤波时,区域的像素数量阈值Num(≈)计算分别如下:T(p;)=砂。(Ih,;一h。I)(8)Num(毛)=妒:(Ih。一h;I)(9)可取:州Ihpi-hi|)-∥翁丸k2。以”^t忙I№i巍“…..,fNum。/4h,;一hil≤20式中,砂。(Ih,;一h,I)和沙:(Ih毛一h,I)为增函数,即离地平线越远,二值化和区域滤波时,取的阈值越大;h;为第i列带内地平线离图像下边界的图像高度;|Il,。为第i列带内像素Pi的图像高度;^。。为该区域最下位置像素毛的图像高度,像素气所在列带序号为i;t为预设图像二值化阈值;Num。为预设区域滤波像素数量阈值。4实验及结果分析4.1实验平台及结果评价指标仿真实验在IntelP43.0GCPU+768M处理器DI)R400内存的计算机上运行,视频大小都为320×240。评价指标为:虚警率(误检率),漏检率以及检测率。其中,检测率与漏检率之和为1。4.2基于小波分析检测算法仿真实验针对有风、有烟、有树这一典型场景,对基于小波分析的检测算法进行实验,仿真结果如图2所示。图2(a)和(b)是第208帧和第568帧原始图像小波分解结果(高频部分为高频系数与亮度的比值,且已归一化到[0,255]),图2(c)、(d)和(e)分别为这两帧之间的HL、LH和HH频带检测结果。实验结果表明,各频带小波分析检测结果几乎相同,因此只对LH频带做基于小波分析的检测。698中国图象图形学报4.3第14卷基于小波分析和多特征融合烟雾检测算法仿真结果针对有风、有烟、有树这一典型场景,基于小波分析的多特征融合的烟雾检测算法(记为方法1)和文献[1]的方法,即先进行亮度变化检测然后利用直方图判断烟雾检测算法(记为方法2)进行实验,仿真结果如图3所示。图3中,(a)、(d)分别为第(a)第208帧小波分解结果(b)第568帧小波分解结果232帧和第612帧的实际场景图像及烟雾位置,(b)、(C)分别为第232帧时方法1与方法2检测结果,(e)、(f)分别为第612帧时方法1与方法2检测结果。仿真实验参数:N=6,A=1.8,t=10。表1为方法1和方法2对多个典型场景的检测结(c)HL频带检测(d)LH频带检测(e)HI-I频带检测果。仿真结果表明:基于小波分析和多特征融合烟雾检测算法去除了方法2中被误检测的干扰,并能较完整地检测烟雾出现的区域。图2基于小波分析的检测结果Fig.2Detectionresultsbasedwaveletanalysis(a)第232帧实际场景(b)第232帧方法l的结果(c)第232帧方法2的结果(d)第612帧实际场景(e)第612帧方法l的结果图3检测算法仿真结果(f)第6】2帧方法2的结果Fig.3Experimentalresultsofdetectingalgorithm表ITab.1多个典型场景的检测结果4.4空间精度补偿下的烟雾区域提取算法仿真结果Detectingresultsofseveraltypicalsceneries针对较远距离烟雾源这一典型场景,基于小波分析的多特征融合烟雾检测算法,采用常阈值(记为方法3)和空间精度补偿自适应阈值(记为方法4)提取连通区域。仿真结果如图4所示。图4中,(a)、(b)分别为第15l帧和第222帧的实际场景图像及烟雾位置,(c)、(d)分别为第15l帧时方法3与方法4的检测提取结果,(e)、(f)分别为第222帧时方法3与方法4的检测提取结果。仿真实验参数:N=30,A=1.8,To=10,Tc=30、Num。=50;地平线确定方法中取m=4。表2为方法3和方法4对万方数据第4期杨猛等:基于小波分析的烟雾多特征融合和空间精度补偿森林火情检测算法多个典型场景的检测提取结果。表3为方法3和方法4的烟雾检测提取结果评价。仿真结果表明:基于小波分析的多特征融合烟雾检测算法采用空间精度补偿自适应阈值提取连通区域(即方法4),使烟雾检测算法能够自适应距离不同的检测对象,大大提高了烟雾检测方法的检测率同时仍然保持较小的虚警率,且实时性较好。(aJ第151帧实际场景(b)第222帧实勋、场景rc)第15l帧方法3结果阳)第l5I帧方法4结果(旬第222帧力江3结粜(D第222'陂h法4锚果图4烟雾检测与提取仿真结果Fig.4Experimentalresultsofdetectingandextractingsmoke表2多个典型场景的检测提取结果Tab.2Resultsoftypicalseceries’detectingandextracting表3烟雾检测提取结果评价Tab.3Evaluationofsmoke’sdetectingandextractingresults万方数据4.5不同参数下的实验结果分析基于小波分析的多特征融合烟雾检测和空间精度补偿下的烟雾区域提取算法。针对两种典型场景(典型场景l:山坡上有较近距离的烟雾源且有树晃动;典型场景2:远处树林约5公里左右的烟雾源),不同参数下的仿真实验结果如下。其中参数T。=15,疋=40,这是由图1中的实验结果确定的;阈值参数L=lO,t=30、Num。=50为经验值,且在各视频仿真实验中效果都较好,因此本文不讨论这些参数的取值。场景l的地平线近似为一条水平直线,因此取m=4。在参数间隔帧数Ⅳ和增益系数A不同取值下的实验结果如表4、表5所示。场景2的地平线为一条水平直线,因此取m=2。在参数Ⅳ和A不同取值下的实验结果如表6、表7所示。表8为算法在不同Ⅳ取值下的平均处理速度。表4虚警率(%)裹5检测率(%lTab.4FalsealarmTab.5DetectionAl2l8一rate(%)ⅣA——rate(%)Ⅳ61630616301O0.50.4I.292.192.592.3l2O.6O.51.896.897.597.624351.91.72.497.197.997.8表6虚警率(%J表7检测率(%)Tab.6FalsealarmTab.7DetectiOnrate{%)rate《%)ⅣⅣ6163061630l2493.23.11.272.184.688.4l8533.53.41.876.485.390.524764.74.62.477.185.890.7表8平均处理速度(帧/s)Tab.8Aeverageprocessingspeed(fps)实验结果表明:随着Ⅳ增大,检测虚警率有所降低,近距离烟雾检测率几乎不变,远距离烟雾检测率有所提高。这是因为间隔帧数Ⅳ增大,会减弱对区域内非持续的快速运动以及无关扰动的累积即减弱虚警,增强对远处缓慢运动的检测精度即增加远700中国图象图形学报第14卷距离烟雾源检测率,同时Ⅳ还影响着算法处理速度,因此Ⅳ不能过大,经过实验验证,J『\r取30是比较合适的。随着A的增大,检测虚警率和检测率都有所升高。这是由于A增大会同时加速烟雾累积速度和与烟雾有相似颜色的假目标累积速度,所以综合考虑检测率和虚警率,A取1.8是比较合适的。本文检测算法是基于烟雾特征如运动特性、空间特性等提出的,对图像中快速运动变化、无关扰动不敏感,因此对于晴天、大风、雨雪等天气具有较强的稳定性;对于低照度、低对比度等光照条件,由予受成像设备的制约,算法检测能力会略有下降。5结论分析了图像中烟雾区域的四个主要特性,即烟雾的运动特性,空间特性,颜色特性以及引入的频率特性,在此基础上提出了基于小波分析和多特征融合烟雾检测算法,同时考虑到森林火情监测这样的开放大环境存在着严重的空间精度损失,提出空间精度补偿下的烟雾区域提取方法。实验结果表明:本文算法能提高检测的准确性和鲁棒性,对环境适应能力强,对实现智能森林火情检测具有重要的应用价值。下一步,将着重解决有雾场景烟的检测,并且对诸如方向、速度等烟雾运动特性进行详细分析,以便提供更精确的预警信息。参考文献《References)1JeromeVicente,PhilippeGuillemant.Animageprocessingtechnique万方数据forautomaticallydetectingforestfire【J].InternationalJournalofThermalSciences,2002,41(12):1113-1120.2BegonnCArrue。AnibalOllero,JRamiroMartinezdeDins.Anintelligentsystemforfalsealarmreductionininfraredforest-firedetection(J].IntelligentSystems,2000,is(3):64—73.3ChenThou-ho。WuPing—hsueh。ChiouYung—chuen.Anearlyfire—detectionmethodbasedonimageprocessing[A].In:ProceedingsofInternationalConferenceonImageProcessing[C],Singapore:2004:1707-1710.4JiangDong—hni,WangShu.Researchontheapplicationofthefractalencodingtechniqueinimasing—basedfiresmokedetection[J]IJournalofChangshnTelecommunicationsandTechnologyVocationalCoileage,2005。4(4):16.20.[姜东海,王殊.分形编码技术在图像型火灾烟雾探测中的应用研究[J】.长沙通信职业技术学院学报,2005,4(4):16-20.】5EricdenBreejen,MarcelBreuers.Autonomousforestfiredetection[A].In:ProceedingsoftheThirdInternationalConferenceOilForestFireResearchandthe14thConferenceonFireandForestMeteorology(C],Luse,Portugal.1998,2:2003—2012.6Gomez-RodrignezF。ArrueBC。OlleroRoboticsA.Smokemonitoringandmeasurementusingimageprocessing,applicationtoforestfires[J].ProceedingsofSPIE,2003,¥0941404-411.7T6reyinBUgur,YigithanDedeoglu,CetinAEnis.Waveletbasedreal-timesmokedetectioninvideo[A].In:Proceedingsofthe13thEuropeanSignalProcessingConference[c],Antalya,Turkey,2005:4.8.8NechybnMichaelC,硒UPeterG,MartinWaszak.TowardsFlightAutonomy:Vision-BasedHorizonDetectionforMicreAirVehicles.[EB/OL].http://www.railaft.edu/-nochyba/cv/popom/ferar2002一horizo“pdf,2002.9GonzalezRC.DistalImageProcessing[M](2nd).Beijing:PublishingHourseofElectronicsIndustry。2003:461·475.[冈萨雷斯数字图像处理[M】(第二版).阮秋琦等译.北京:电子工业出版社,2003:461·475.】