Instrument Technique and Sensor
仪表技术与传感器
2019 No11
基于多特征融合的运动目标跟踪方法
益争祝玛,尚振宏,刘 辉,李润鑫
(昆明理工大学信息工程与自动化学院,云南昆明 650500)
摘要:采用单一特征描述目标和传统模型更新方法对目标进行跟踪难以适应目标的遮挡、形变以及复杂场景变化等问题。针对此问题,提出一种多特征融合和选择性更新模型的相关滤波器跟踪算法。分别利用方向梯度直方图和颜色特征训练滤波器模型,在检测阶段根据不同特征响应图的峰值旁瓣比和加权融合两种特征;根据每帧最终目标位置响应图的峰值旁瓣比,判断目标是否发生遮挡,发生遮挡时则不更新模型,下一帧中继续使用当前模型进行跟踪。选取公开测试视频集中12段视频序列与多个前沿运动目标跟踪算法进行对比实验,结果显示,相对于次优的基于颜色特征(colornames,CN)的算法,平均中心位置误差减少了25.12像素,平均跟踪精度提高了29.31%。实验结果表明,在目标发生尺度变化、遮挡和光照变化等情况下,该算法可以稳定、准确跟踪运动目标。关键词:目标跟踪;相关滤波器跟踪;特征融合;峰值旁瓣比;模型更新
中图分类号:TP391 文献标识码:A 文章编号:1002-1841(2019)11-0095-05
MovingTargetTrackingMethodBasedonMulti⁃featureFusion
(FacultyofInformationEngineeringandAutomation,KunmingUniversityofScienceandTechnology,Kunming650500,China)
Abstract:Aimingatthetrackingofmovingtargetsusingasinglefeaturetodescribethetargetandthetraditionalmodelup⁃datemethod,itisdifficulttoadapttothetargetsocclusion,deformation,andvariouscomplexscene.Toaddressthesechallen⁃ges,thispaperpresentedacorrelationfiltertrackingalgorithmformulti⁃featurefusionandselectiveupdatemodels.Firstly,thefiltermodelwastrainedbyusingthecolorfeatureofthetargetandthedirectionalgradienthistogramfeaturerespectively.Inthedetectionphase,thetwofeatureswereweightedaccordingtothepeaksideloberatioofdifferentresponsegraphs.Accordingtothepeaksideloberatiooftheresponsegraphofthefinaltargetpositionofeachframe,judgewhetherthetargetwasblockedornot.Whenblockingoccurs,themodelcannotbeupdated,andcontinuedtousethecurrentmodelfortrackinginthenextframe.The12challengingvideosequencesinthevideoseriesofpublictestwereselectedtoconductcomparativeexperimentswithmul⁃pixels,theaveragedistanceprecisionincreasesby29.31%ascomparedtothesuboptimalcolornames(CN)algorithm.Theex⁃perimentalresultsdemonstratethattheproposedalgorithmcanbestablyandaccuratelytrackedinthecaseofchangesinthetar⁃getscale,shadingandilluminationchanges.
Keywords:visualtracking;correlationfiltertracking;featurefusion;peaksideloberatio;modelupdate
YIZHENGZhu⁃ma,SHANGZhen⁃hong,LIUHui,LIRun⁃xin
tiplecutting⁃edgemovingtargettrackingalgorithms.Theexperimentalresultsshowthatthecenterpositionerrorreduces25.12
0 引言
目标跟踪是计算机视觉领域的一个热点,被广泛应用于视频监控、机器人学习、工业智能化等方面。其本质是在一段连续视频序列图像中找到目标的位置和状态[1]。虽然目前目标跟踪已经取得很大进展,但因受到遮挡、光照变化和尺度变化等众多因素影响,它仍然是一个具有挑战性的问题。
近年来,许多学者将相关滤波器引入到目标跟踪
框架中。相关滤波器目标跟踪算法中特征的选择对跟踪的性能影响很大。其中,D.S.Bolme等提出的最小化输出平方误差和(minimunoutputsumofsquareer⁃ror,MOSSE)算法[2],仅采用灰度特征进行跟踪,J.F.Henriques等提出将以往单通道灰度特征拓展到多通道,采用方向梯度特征(histogramoforientedgridi⁃ents,HOG)跟踪目标的(kernelcorrelationfilter,KCF)算法[3],提高了跟踪的准确度。M.Danelljan等在算法中加入颜色特征,并利用主成分分析(principalcom⁃ponentanalysis,PCA)对颜色特征CN[4]降维处理,应用在彩色视频序列中。M.Danelljan等在MOSSE的基
基金项目:国家自然科学基金资助项目(61462052)收稿日期:2018-08-28
96
度估计的DSST算法
[5]
InstrumentTechniqueandSensor
d
Nov2019
l
l
d
础上提出利用HOG特征构建尺度金字塔进行目标尺描述目标,无法较全面的表达目标,在不同场景下跟踪性能有较大差异。另外,上述算法都采用逐帧固定更新滤波器模型的方式,但每帧跟踪情况各不相同,容易将错误的信息加到目标模型中,而导致后续帧跟踪失败。针对以上问题本文基于可以进行尺度估计的DSST算法提出以下策略:
。上述算法都仅使用单一特征
式中:g为训练样本m的期望输出;τ为正则化参数;d为训练样本f的维数;fl为其中的第l维,l∈{1,…,d};∗表示循环相关。
式(1)的最小值在频域里的解如下:
H=
l
ε=‖∑h∗f-g‖+τ∑‖hl‖2
l=1
l=1
(1)
GFl
kkd
+(2)
特征)(1)描述目标上述算法仅利用单一特征。HOG特征是图像的局部特征(HOG特征或颜色
,对目标细微形变、光照变化等有较好的适应能力,但是如果目标发生较大的形变和遮挡时,会发生错跟或漏跟;而人类识别图像的重要感知特征颜色特征是基于像素点的一种全局特征,对目标旋转、平移和尺度变化不敏感,但颜色特征不能很好描述目标的局部特征且无法适应光照变化。为此,本文将这两种特征融合起来描述目标模型,在获得目标全局特征的同时,也可以获取目标局部特征,提高了目标检测的准确度。如果目标发生遮挡时(2)上述算法使用目标模型逐帧固定更新策略,继续更新模型会将不正确的信,息加到模型中,会导致目标跟踪的失败。为了提高跟踪性能,提出只有满足一定条件时才更新的策略,通过判断目标是否发生遮挡来决定是否进行模型更新,减小了遮挡对目标跟踪的影响,从而提高了算法的稳定性。
视觉跟踪中目标尺度不断发生变化,基于此DSST算法提出了一种尺度估计的策略。该算法先得到目标位置,然后估计目标尺度。为保证论文完整性,将DSST[5]。
算法简述如下,该算法的详细论述见参考文献1 DSST目标跟踪算法滤波器和尺度滤波器DSST跟踪算法提出通过训练两个滤波器,分别得到目标的位置和尺度,位置,且两个滤波器的应用方式和原理相同。通过位置滤波器找到预测区域中目标响应值最大的位置,此处就是目标的位置;利用训练好的尺度滤波器在新位置处估计目标尺度。1.1 位置估计
以输入图像中目标位置为中心,进行采样获得图像块P。然后,提取P的HOG特征f作为训练样本m。样本训练是为了找到最优的滤波器h,使输入样本和需要输出之间平方误差最小。h由每个特征维度的滤波器hl组成,通过如下最小化均方差求得:
式中:G、F分别为g、f的频域描述∑k=1
FFτ
;G、F分别为G、F的共轭复数。
由于式(2)计算非常耗时,为了得到近似结果,对式(2)的分子Alt和分母Bt分别进行更新:
Alt=(1-η)Alt-1+ηGtFlt
Bt=(1-η)Bt-1+η∑d
(3)l
k=1
FktFt
(4)
式中η为滤波器模型更新的学习率。
上述已经得到了最优滤波器模型,完成了训练过程。此处将对目标进行检测,对于新一帧得到候选样本z,计算z与滤波器的相关得分y:
y=F-1(
∑d
l=AlZlB1+τ
)(5)
y取得的最大值处即为新的目标位置。
1.2 尺度估计
为了解决目标尺度变化问题,DSST算法在目标位置确定后,通过构建尺度金字塔训练尺度滤波器估计目标尺度。确定目标位置后,以目标新位置为中心,截取构建金字塔的33个图像层,并提取这些图像层的HOG特征训练一个尺度滤波器H目标尺度,H(2)计算可得。在新一帧中scale,用来估计scale由式,为了得到目标尺度,利用式(5)求ys并得其最大值,确定目标当前尺度。采用式(3)、式(4)进行模型更新。2 多特征融合跟踪方法
在目标发生巨大形变和遮挡时DSST算法是基于单一HOG,跟踪效果并不理想特征描述目标模型,
。且该算法更新模型采用逐帧固定更新方式,但这种更新策略不能满足视频序列中每帧各不相同的变化情况,无法抑制模型漂移,最后可能导致跟踪失败。
本文提出基于相关滤波器跟踪方法的改进,位置估计时,为了更全面描述目标,减小跟踪错误率,采用了与HOG特征具有互补性的颜色特征CN共同描述目标以训练滤波器,并根据两个特征各自跟踪结果的
第11期益争祝玛等:基于多特征融合的运动目标跟踪方法
该特征权重。
97
PSR(peak⁃to⁃sideloberation)自适应融合两种特征。为提高目标模型的有效性,对算法的跟踪结果进行遮未发生遮挡则更新模型,提高了目标跟踪的性能。2.1 峰值旁瓣比
在相关滤波器算法中,滤波器响应分布可以评估跟踪结果的置信度。理想响应分布时峰值强度高,即仅在目标中心位置处产生唯一峰值,且该峰值比较突出,峰值与周围区域之间的相对高度较大。峰值旁瓣在t帧时,使用CN和HOG特征分别跟踪目标得到滤波器响应yt,cn和yt,hog,并在响应层面进行特征融合,利用如下加权方法得到融合后的响应yt:
yt=wt,cn×yt,cn+wt,hog×yt,hog
(7)
挡判断,如果目标发生遮挡,则不进行目标模型更新,
式中yt的最大值处就是目标最终的位置:wt,cn、wt,hog分别为CN特征和HOG特征在第t帧时归一化权重。
wt,cn=2
2PSR2t,cn
(8)比PSR最开始是D.S.Bolme等[2]提出的是一种衡量峰值强度的指标,PSR计算方法为
[2]
PSRt=
yt,maxσ-μt
t
(6)
式中:yt,max为第t帧响应图的峰值;μt和σt为最大响应位置周围区域的均值和标准差。,响应分布中峰值强度越高,则目标置
信度越高PSRt越大。
2.2 特征融合和位置估计
不同的特征具有不同的性质。如图(1)所示,当目标发生遮挡或目标发生剧烈光照变化时,单独使用HOG可知,或者目标发生遮挡时CN特征都不能很好跟踪目标,单独使用HOG特征。由图,发生漂1(a)移,即HOG特征不能很好处理遮挡问题;由图1(b)可知,当目标发生剧烈光照变化时,单独使用CN特征跟丢目标,CN特征不能很好处理光照变化问题。
实验表明HOG特征和CN特征是一对互补特征。HOG标形变特征对光照变化具有较好适应性、尺度变化具有较好适应性。为更全面描述目,CN特征对目标,文中将利用上述两种特征描述目标模型,减小跟踪错误率。
———HOG
(a)
-(b)
-CN图1 两种特征效果对比分析
分别提取目标的HOG和CN特征,使用式(2)分别训练两个位置滤波器,依据式(5)得到各自的目标响应图。为了让两种特征有效融合,通过比较两种特征的跟踪置信度来分配特征权值,而PSR可以较好地衡量跟踪置信度,当PSR值较大,说明目标置信度更高,跟踪效果更好。在下一帧的目标检测中应该加大
PSRt,cn+PSRt,hogw2t,hog
t,hog=
2.3 滤波器模型更新
PSR2PSRt,cn+PSR2t,hog
(9)
传统相关滤波器算法中,采用逐帧固定更新模型方法,当目标发生遮挡时,更新过程中引入的错误信息将导致目标跟踪发生漂移甚至失败。文献[6-9]利用峰值旁瓣比PSR判断目标是否发生遮挡。图2是24、248Jogging1视频序列的PSR响应曲线分析。目标在第
目标被完全遮挡帧时正常运动,PSR,PSR值较小值比较大,第80。帧时在第PSR71帧时值上,升,目标发生部分遮挡。
(a)第图242 帧PSR (b)值分析结果第71帧 (c)(Jogging1第80帧 序列(d)第)
248帧
因此本文在目标检测过程中首先利用当前帧最
终位置响应图的PSR值判断目标是否发生遮挡,并利
用PSR重新确定模型的更新率
η′=
{
式中N为设定的判0,
0025,
断是否更PSRPSRt>N
t新滤≤波N
(10)
器模型的PSR阈值。
通过对不同视频序列实验测试发现,目标正常运动时的PSR值超过7;当PSR值小于7时,目标发生遮挡,为了有效更新滤波器模型,本文中N取7。将式(3)、式(4)中上一帧的η用新的模型更新率η′替换,
98
3 实验结果与分析3.1 实验环境及参数
InstrumentTechniqueandSensor
算法明显优于其他算法。
Nov2019
并在下一帧中使用,即对模型进行自适应更新。
Bolt视频中次优,在其余7个视频都是最优,因此本文
图3为本文算法和其他3种算法在测试序列上的距离精度与中心位置误差的关系,曲线越陡,表示跟踪精度越高,其中,中心位置误差阈值为20。由图3可看出,本文算法的距离精度为最优。
表2 部分测试视频平均CLE
算法本文Jogging14.93Tiger212.30Walking5.72Bolt5.81%
实验运行平台为MATLABR2014b,所有实验均在Internetcorei5CPU,主频2.5GHz,4GB内存电脑上完成。实验中对所有测试视频采用参数一致:正则化参数设置τ=001,模型更新的学习率η=0025,尺度金字塔取33层,旁瓣区域预定义的更新阈值N取7。3.2 数据和评估方法
实验选取公开的标准测试数据集Benchmar[10]中的12段视频序列进行实验,测试视频序列依次为Jog⁃ging1、Bolt、Girl、Singer2、CarscaleBlurface、Tiger2、Skating2、Coke、Dog、Walking、标多种变化,如遮挡、快速运动和旋转和FaceOcc1,、其中包含了目光照变化、尺度变化、和类目标干扰等,可验证本文算法的有效性。
采用中心位置误差(centerlocationerror,CLE)、距离精度(distanceprecision,DP)和帧率(framespersec⁃ond,目标框的中心与目标真实位置中心之间的偏差FPS)评估本文算法和其他比较算法。CLE,是指中心误差越小,则算法性能越高。DP是指中心位置误差小于某一阈值的帧数占视频总帧数的百分比,实验中采用阈值为20像素。3.3 与其他算法的对比分析
为了说明本文算法的有效性,选取3种对比算法进行分析。对比算法包括:(circulantstructureoftracking⁃by⁃detection法和MOSSE算法。withkernel,CSK)算法[11]、CN算3.3.1 表定量分析
1是12组视频序列的实验结果。其中最优结
果加下划线表示。可以看出本文算法的平均CLE和平均DP都优于其他对比算法。和次优的CN算法相比,平均CLE降低了25.12像素,平均DP提高了29.31%。算法有下降但本文的平均帧率是。
13.71fps,相对于其他表1 本文算法与对比算法的比较
算法平均CLE平均DP平均FPS/像素/%/fps本文9.4193.2413.71CSK75.7659.38MOSSECN
166.3234.53
63.93168.5240.76
619.9469.36
最优结果加下划线表示 表2列举了其中8个测试序列的平均。本文算法的平均CLE,CLE其中仅在
CSKMOSSECN
45.00123.0040.20
179.00219.0012.70
215.00346.607.54
432.00399.004.13
算法Singer2CarscaleCokeFaceOcc1本文8.1819.1011.5012.70CSK168.00130.00MOSSECN167.00183.00139.0025.60144.00166.0030.9032.5012.9076.50(a)Jogging1(b)Girl
(c)Coke
(d)Singer2
(e)Skating
(f)Tiger2
图3 部分视频的距离精度曲线
3.3.2 3.3.2.1 定性分析
图4(a)发生遮挡
是Jogging1视频的部分跟踪结果,在第71
第11期益争祝玛等:基于多特征融合的运动目标跟踪方法
99
帧时目标被完全遮挡时;在第98帧时,其他算法都跟踪失败,仅本文算法由于可以自适应更新目标模型,依然能够成功跟踪目标。3.3.2.2 快速运动和旋转
由图4(b)是Tiger2视频的部分跟踪结果,序列中
(a)Jogging1
目标快速运动导致目标模糊,在第82帧时,除了MOSSE,其余算法都能准确跟踪目标;在第113帧时,CSK跟丢目标,CN和本文都可以精确跟踪目标。由图4(c)是Skating2视频的部分跟踪结果,第60、456
(b)Tiger2
帧时目标发生旋转,MOSSE、CN跟丢目标,CSK算法
虽然全程都能跟踪目标,但本文算法精确度更高。3.3.2.3 由图光照变化
4(d)是Singer2视频的部分跟踪结果,在第
36或跟丢现象帧时目标发生剧烈光照变化,本文算法依然可以准确跟踪,对比算法都出现漂移;在第59帧时,目标再次发生光照变化,仅本文算法可以正确跟踪目标,其他算法都跟踪失败。目标发生光照变化时,颜色特征失效,而本文算法融合了Hog特征能适应光照变化。3.3.2.4 图4(e)Carscale尺度变化
视频序列中目标尺度变化明显,
只有本文算法可以准确更新目标尺度,精确跟踪目标。
3.3.2.5 图4(f)类目标干扰
是Girl视频的部分跟踪结果,在第440帧
时出现类目标干扰,MOSSE算法依然最早丢失目标,CSK法可以准确跟踪算法跟丢目标,在第,CN471算法发生目标错跟帧时,MOSSE和,而本文算CSK发生跟踪失败,CN跟踪发生偏离,只有本文算法能够全程稳健跟踪。
由上述定量和定性分析可知,本文算法在目标发生遮挡、快速运动、光照变化、尺度变化和类目标干扰等情况下具有较鲁棒的跟踪效果,特别在目标被遮挡时效果更佳。4 结论
本文提出基于相关滤波器跟踪算法的多特征融合和选择性更新模板的跟踪算法。首先,将CN和HOG踪准确度特征在滤波器响应图层面进行融合。其次,在每一帧中,采用PSR,自适应控制提高目标跟模型的更新率,解决模板遮挡问题。实验表明,
在目标发生遮挡、快速运动、光照变化、尺度变化和类目标干扰等问题时,本文算法具有较强稳定性,尤其在解决遮挡问题时效果更佳。但本文算法平均
(c)Skating2
(d)Singer2
(e)Carscale
—本文 --CSK
(f)Girl
图4 部分视频序列跟踪结果
CN —-MOSSE
速度为13.71frame/s,速度较慢,需要进一步进行
优化。
参考文献:
[1] MARCHANDmationforaugmentedE,UCHIYAMAreality:aH,hands⁃onSPINDLERsurvey[F.PoseJ].IEEE
esti⁃
[2] BOLME22(12):2633TransactionsonDS,BEVERIDGE-2651.
Visualization&ComputerGraphics,2016,
objecttrackingusingadaptiveJR,DRAPERcorrelationBA,filtersetal.[Visual
C]//[3] HENRIQUES-Computer2550.
VisionandPatternRecognition.IEEE,2010:2544trackingJF,RUIC,MARTINSP,etactions37(3):583onwithPatternkernelized-596.
Analysiscorrelation&MachineFilters[J].al.Intelligence,IEEEHigh⁃speed
Trans⁃2014,
(下转第104页)
104 InstrumentTechniqueandSensor
恢复延迟,提高检测实时性。
参考文献:
Nov2019
[1] 何昆鹏,程万娟,高延滨,等.虚拟陀螺技术在MEMS惯[2] BAYARDD.Combiningmultiplegyroscopeoutputsforin⁃[3] 吕琦炜,鲍其莲.虚拟陀螺改进卡尔曼滤波设计[J].电
子设计工程,2015,23(19):24-25;29.creasedaccuracy[R].NASANPO-30533,2003.30(10):1123-1128.
性导航系统中的应用[J].哈尔滨工程大学学报,2009,
[4] CHENGJ,DONGJ,LANDRYJ,etal.Anoveloptimal
(8):13661-13678.
configurationformredundantMEMSinertialsensorsbasedontheorthogonalrotationmethod[J].Sensors,2014,14
[5] 张印强,吉训生,王寿荣.硅微阵列陀螺仪的信号滤波技
术[J].东南大学学报,2013,43(6):1222-1226.[J].仪表技术与传感器,2018(1):98-101.osystemTechnologies,2013,32(6):63-65.(2):358-364.
图5 加入补偿激励后的FDI检测结果
表1 FDI算法性能比较
陀螺1234
故障时间t/s10~1518~2325~3033~38
td/s12351640
1
[6] 曾丽君.硅微陀螺阵列的滚动时域估计滤波算法研究[7] PENDXD,CHENY.Studyoncalibrationmethodof
td/s16271926
2
算法1
td/s17552358
2
算法2td/s13191622
1
MEMS3⁃Axisdigitalgyroscope[J].TransducerandMicr⁃
[8] 程建华,孙湘钰,牟宏杰,等.冗余式捷联惯导系统多故[9] SIMOND.最优状态估计———卡尔曼,H∞及非线性滤波
[M].张勇刚,李宁,奔粤阳,译.北京:国防工业出版社,2013.
temsforasmallunmannedAerialvehicle[D].Switzerland:Zurich,2007.
Swiss
Federal
Institute
of
[10] DUCARDG.Fault⁃tolerantflightcontrolandguidancesys⁃
障的检测与隔离[J].哈尔滨工程大学学报,2018,39
以下工作:
(1)系统建立了陀螺阵列卡尔曼滤波数据融合算法框架,并通过4陀螺阵列的数据融合验证了算法的正确性。
(2)针对陀螺阵列故障,研究了一种基于多模型估计卡尔曼滤波的故障检测方法,能够实现恒值输出和噪声增大两种典型故障的检测。
(3)研究了一种引入补偿激励的故障检测改进方法。针对输出噪声增大故障,可显著缩短故障延迟和(上接第99页)
Technology
作者简介:曾丽君(1982—),讲师,硕士,主要研究领域为信号
与信息处理、嵌入式系统应用。E⁃mail:40668087@qq.com
闵芳(1980—),副教授,硕士,主要研究领域为嵌入式系统应用。E⁃mail:29025735@qq.com
[9] 赵高鹏,沈玉鹏,王建宇.基于核循环结构的自适应特征
融合目标跟踪[J].光学学报,2017,37(8):208-217.mark[C].NewYork:IEEEPress,2013.
[10] WUY,LIMJ,YANGMH.Onlineobjecttracking:abench⁃[11] HENRIQUESJ,CASEIROR,MARTINSP,etal.Exploiting
Kernels[C].Springer⁃Verlag,2012.像处理与模式识别。
E⁃mail:yizhengzhuma666@sina.com
通讯作者:尚振宏(1975—),副教授,博士,主要研究计算机视
觉,图像处理。E⁃mail:shangzhenhong@126.com
[4] DANELLJANM,KHANFS,FELSBERGM,etal.Adaptive
ColorAttributesforReal⁃TimeVisualTracking[C]//IEEEConferenceonComputerVisionandPatternRecognition.IEEEComputerSociety,2014:1090-1097.
[5] DANELLJANM,HÄGERG,KHANFS,etal.Accurate
MachineVisionConference,2014:65.1-65.11.阳:西南科技大学,2017.
ScaleEstimationforRobustVisualTracking[C]//British
theCirculantStructureofTracking⁃by⁃Detectionwith
[6] 李麒骥.基于核相关滤波器的目标跟踪方法研究[D].绵[7] 毛宁,杨德东,杨福才.基于分层卷积特征的自适应目标跟踪[8] 夏远祥.相关滤波目标跟踪算法研究[D].厦门:华侨大
学,2017.
[J].激光与光电子学进展,2016,53(12):201-212.
作者简介:益争祝玛(1992—),硕士研究生,主要研究方向为图
因篇幅问题不能全部显示,请点此查看更多更全内容