第1章 绪论
1.1 课题的背景及意义
随着当今世界多元化、多极化发展，视频监控在安防领域扮演着越来越重要的角色。随着摄像头越发普及的应用，即便在复杂的监控环境中，在监控的清晰度和范围方面均有了长足的进展。在公共安全监管领域，监控得到的视频可以为安全防范与相关执法所用。例如恐怖主义的滋生蔓延，最近又刚刚发生波士顿马拉松的炸弹爆炸事件，使得出于公共安全考虑的视频监控有着更为重要的意义。由于相关需求的不断增加，以往的较为单纯的视频监控发展成现在的智能视频监控系统，在实时决策调整、事后重调分析方面均和从前有本质的不同。智能视频监控系统采用计算机视觉，要求较少技术人员的干预，利用之前设计好的相关软件对视频采集设备输入的视频图像序列进行分析，实现目标的检测、识别、跟踪与相关后续功能。因此，构建智能视频监控系统，IVSS（Intelligent Video Surveillance System）只需在监控现场安装图像采集设备，配合相应的智能分析软件就能取代监控任务中人的大部分工作，大幅度地降低资源和能源的配置[1,2]。智能监控在民用领域均有着广泛的应用，行人流量检测统计方面即是非常活跃且极富前景的，在诸多应用中更是发挥着不可小觑的作用。例如在商场，可以由流量统计结果来获取不同城市，不同居住区域，消费者前去购物的时间分布相关信息，调整相应的营业开放时间，以取得较好市场收益；在旅游景区，可以由流量统计结果，获得旅游旺季淡季的具体情况，调配相关的服务人员，做讲解与疏导工作；在公共交通方面，由于行人出行受工作时间安排，还有天气影响较大，可以实时获得城市各处交通枢纽、运行车辆上的人流量情况，调整相应的公共交通线路与运行频次，以达到资源配置的最优化、方便市民出行的目的。基于视觉信息的行人流量检测技术由于其高度的适应性（能够方便的和广泛存在的视频监控系统融合）和非侵入性（相对于物理探测器必须限制人流的数量和方向）成为国内外研究学者研究的重点[3]。在计算机视觉理论与相关视频采集与读取硬件的发展历程中，也有相应的一批产品应运而生，但是对于在特定复杂环境下，行人作为典型的非刚体，加之行人之间互相的影响，想设计出准确率高、鲁棒性强的识别、跟踪算法往往具有难度。因此，基于计算机视觉的人流量检测统计研究，颇具有研究价值与提升空间。
1.2 国内外研究现状
1.2.1 视频监控领域的发展现状
下图为视频监控系统通用功能实现流程图，目标检测与跟踪为底层处理部分，行为理解等属于高级处理部分。随着所需智能化程度的不断提升，对于高级层面的处理，即对行为理解，评估决策的程度要求越来越高，相应的研究也成为热点。在科研学术方面，IEEE 重视此领域并自 1998 年起每年单独召开相关的学术会议 AVSS（Advanced Video and Signal-Based Surveillance），参与者对组会发布的公开视频序列与图像素材进行算法设计，并比较性能。国外许多高校和科研机构就目标检测和跟踪方面做了大量研究，研制开发出了较为成熟的视频监控系统。例如，美国国防高级研究项目署 1997 年资助卡内基梅隆大学、SARNOFF研究中心等联合研制出了视频监视与监控系统 VSAM（Video Surveillance and Monitoring）[4，5]，这是一个战场监控系统，不仅可以进行一般性的军事安全监控，还可实现对局部战争场景的实时监控。我国也是极为重视智能视频监控的发展，中国科学院自动化研究所、清华大学、浙江大学等研究机构与高校均在此领域有长足的进展，其中自动化所自行设计了一个拥有自主知识产权的交通监控系统 Vstar（Visual Surveillance Star）。在商业应用方面，美国 Vidient 公司推出的 Smart Catch 系统，主要应用于机场安防监控，美国 EMW 公司研制的 IVM 智能视频监控系统，已经成功应用于美国五角大楼。
第2章 基于多视觉传感器的运动目标检测
2.1 引言
减除法背景减除法是运动分割目标检测中最常用的一种方法，其基本思想是，将当前每一帧图像与背景模型进行比较，然后利用某些特征，如灰度特征，直方图统计信息来判断是否发生运动，继而进行分割。背景减除法的流程分为三个步骤，首先对场景进行建模；然后将当前帧的图像与场景模型进行比较，若同一像素位置处的特征大于某个阈值，则被认为是运动的前景区域；最后对图像进行二值化处理，得到前景像素集合的运动图像。另外，由于场景是在动态变化的，场景的背景模型也要做到周期性地进行更新。背景减除法的流程图如图 2.1 所示。由实验结果分析，在三种方法中，结合本课题的实际应用环境，公交车乘客上下车的速度适宜，不会出现运动目标运动过快、过慢导致做帧差无法得到有效前景分割的现象，并且在相邻帧间光照几乎没有变化。由图 2.5（c）、（d）可知，帧差法可以有效地去除背景，分割出前景，且轮廓提取效果较好。因此本文主要采用帧差法来做运动前景的检测与背景的分割。
第 3 章 基于多视觉传感器的运动.........20
3.1 引言 ..... 20
3.2 霍夫圆检测 ..... 20
3.3 基于 HOG 特征的行人检测方法....... 22
3.3.1 HOG 特征提取的基本原理......... 22
3.3.2 基于支持向量机的分类 .... 24
3.4 实验结果及分析 ....... 26
3.4.1 霍夫圆检测在本课题中的应用 .... 26
3.4.2 HOG 特征提取在本课题中的应用......... 27
3.4.3 SVM 分类器在本课题中的应用..... 29
3.5 本章小结 ....... 32
第 4 章 多视觉传感器下的行人跟踪.......33
4.1 引言 ..... 33
4.2 均值偏移算法（Mean Shift） ....... 33
4.3 连续自适应均值平移算法（CamShift） ..... 37
4.3.1 直方图的反向投影 ........ 37
4.3.2 搜索过程 .... 38
4.3.3 Camshift 算法描述........ 39
4.4 实验结果及分析 ....... 40
4.5 本章小结 ....... 47
第 5 章 基于多视觉传感器的公交车.........48
5.1 引言 ..... 48
5.2 实验环境 ....... 48
5.2.1 实验进行的硬件条件 ...... 48
5.2.2 实验进行的软件条件 ...... 49
5.3 多视觉传感器计数值的融合方法 ..... 49
5.4 实验结果及分析 ....... 49
5.5 本章小结 ....... 53
结论
将图像处理、计算机视觉、模式识别等相关技术应用于行人流量检测是业内的热点，也是当今社会智能化交通、安防的大势所趋。图像采集设备的广泛普及与日益低廉，相关算法的日趋成熟与蓬勃发展，针对输入视频序列图像对待监控区域进行分析，可以完全解放劳动力，实现自动化地统计人流量，为相关部门的决策带来极大的便利。本文首次将多视觉传感器引入公交车人流量计数的领域，分别采用一个垂直向下的视觉传感器与一个斜向下的视觉传感器，发挥各自观测视角的优势，相互配合地进行计数统计。对传感器采集的视频图像信息加以分析，对乘客特征进行有效提取，着重研究了运动行人的检测与跟踪技术。以公共交通系统中的公交车上采集的视频图像序列作为实验数据来源，实地进行实验，基本较好地完成了人流量统计的任务。本文完成的主要工作和研究成果，主要有：
（1） 关于两个视觉传感器的特征提取方法，发挥了各自的优势。对垂直向下的视觉传感器，选用基于梯度的霍夫快速圆检测算法；对斜向下的视觉传感器，由于其视野广阔，提取行人 HOG 特征，引入机器学习的方法，自行建立正、负样本集，并训练分类器，检测正确率非常高；
（2） 关于目标定位，对于垂直向下的视觉传感器，没有采纳以往文献中大多数论述的对乘客头部图像进行精细图像处理的策略，而是联系课题的具体环境，认识到即使对头部精细处理，也难以解决所有关于发型变换、秃顶、染发、光度变化等难以定位的问题，而且产生了大量的时间与空间复杂度。提出了在检测到发生运动的前提下，再进行跟踪区域的选择策略。首先进行运动检测，这样避免进行无谓的特征提取。
（3） 关于跟踪算法，在进行 Camshift 跟踪时，针对本身半自动无法自行寻找跟踪窗中心的算法的缺陷，采取将融合运动区域中心与特征提取中心信息的策略，实现 Camshift 跟踪算法的自动跟踪；由于光照变化以及环境中其他的干扰因素，采取“边跟踪边检测”的方式，兼顾计算量与跟踪效果，采取每隔特定帧数进行一次跟踪矩形区域的重新确定；
（4） 关于计数，建立了一个简单高效的人数统计机制，而避免了在这样复杂场景下对于本身存在噪声的轨迹进行分析；对于多视觉传感器计数的融合，提出了一个根据相对误差分数修正的，以垂直向下视觉传感器计数为主，斜向下视觉传感器计数为辅的计数融合方法。
参考文献
[1] Weiming Hu, Tieniu Tan, Liang Wang. A Survey http://sblunwen.com/shtjxlw/ on Visual Surveillance of ObjectMotion and Behavious[J].IEEE Transactions on System, man and CyberneticsPart C: Applications and Reviews,2008,34(3):334-352.
[2] 李子青.智能视频监控技术——自主创新引领未来[J].中国安防，2007，3:50-55.
[3] Chih-Wen Su,Liao H.-Y.M., Hsiao-Rong Tyan. A vision-based people countingapproach based on the symmetry measure[J].IEEE International Symposium onDigital Object Identifier,2009,2617-2620
[4] Collins R,Lipton A. A system for video surveillance and monitoring VASM finalreport. CMU-RI-TR-00-12[R]，Robotic Institute Carnegie Mellon University,2000
[5] Collins R, Lipton A, Kanade T. Introduction to the special section on videosurveillance[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2000:22(8):745-746.
[6] Nguyen,N.T.,Venkatesh,S.,West,G,and Bui,H.H. Multiple camera coordination ina surveillance system[J].Acta Automatica Sinica,2003,29(3)：408-421.
[7] A.J.Lipton, H.Fujiyoshi, and R.S.Patil. Moving target classification and trackingfrom real-time video[C].In Proceedings of IEEE Workshop Applications ofComputer Vision,1998,8-14.
[8] A.Ess, B.Leibe, and L.van Gool.Depth and Appearance for Mobile SceneAnalysis[C]. International Conference of Computer Vision,2007, Brazil:1-8.
[9] aynes,C. Multi-view calibration from planar motion for video surveillance[C].2ndIEEE International workshop on Visual Surveillance, 1999,Colorado:59-67
[10] N.Friedman and S.Russell. Image segmentation in video sequences: aprobabilistic approach[C].In Proceedings of the 13th Conference on Uncertaintyin Artificial Intelligence,1997, San Francisco:175-181.