第一章 绪论
1.1 研究背景和意义
近年来，出于安全反恐等方面的考虑，社会对于安防设施的需求不断增长，这促使政府在公共场所部署了大量的视频监控系统[1,2]。许多居民住宅也开始使用监控设备，以确保家庭人和财物安全，因此视频监控设备的市场前景被持续看好[3,4,5]。然而目前主要由摄像头结合录像机的监控方式，布线复杂，安装困难[6]；而且录像机保存的大多是不重要且没有被有效分类存储的录像数据，造成了大量带宽与存储资源的浪费[7,8]；同时系统缺乏智能因素，监而不控，发生异常只能通过查找大量的视频数据寻找线索，无法帮助人们实现快速响应[9]。显然，传统的基于人工操作的视频监控系统越来越不能满足人们的需求。随着图像处理与计算机视觉技术的不断发展，利用智能视频分析算法对视频图像内容进行处理，以提取视频场景中发生的一些特定的事件或监控目标的特定行为，实现智能视频监控已经成为视频监控的发展趋势。
1.1 研究背景和意义
近年来，出于安全反恐等方面的考虑，社会对于安防设施的需求不断增长，这促使政府在公共场所部署了大量的视频监控系统[1,2]。许多居民住宅也开始使用监控设备，以确保家庭人和财物安全，因此视频监控设备的市场前景被持续看好[3,4,5]。然而目前主要由摄像头结合录像机的监控方式，布线复杂，安装困难[6]；而且录像机保存的大多是不重要且没有被有效分类存储的录像数据，造成了大量带宽与存储资源的浪费[7,8]；同时系统缺乏智能因素，监而不控，发生异常只能通过查找大量的视频数据寻找线索，无法帮助人们实现快速响应[9]。显然，传统的基于人工操作的视频监控系统越来越不能满足人们的需求。随着图像处理与计算机视觉技术的不断发展，利用智能视频分析算法对视频图像内容进行处理，以提取视频场景中发生的一些特定的事件或监控目标的特定行为，实现智能视频监控已经成为视频监控的发展趋势。
智能视频分析技术主要可以分为运动目标检测和跟踪[13,14,15]、目标分类[16]、人体运动分析[17]、行为理解[18,19]以及身份识别[20,21]等几大类。在室内环境中，人们迫切需要一种可以在远距离内自动识别目标身份的技术。其中人脸识别技术无疑是最佳选择[22]，采集一家人的人脸图像建立人脸数据库，如果有人进入监控范围，则将检测到的人脸图像与人脸数据库中人脸图像进行匹配比对，如果匹配不成功则进行报警处理。因此，结合人脸识别技术的视频监控系统，将更加满足目前市场的要求。但是，由于家庭视频监控背景复杂，人脸姿态和表情等因素的改变都将造成人脸识别上的困难。因此只采用一种现有方法很难取得较好的识别效果，如何结合其他技术，提高识别率，减少计算量，提高鲁棒性，并将人脸识别技术移植到嵌入式平台中，都是智能监控值得研究的问题。
..............................
第三章 结合运动目标检测的人脸识别 .................................. 23
1.2 国内外研究现状
1.2.1 智能监控系统研究现状
近年来，随着传统视频监控的局限性越来越突出，智能视频监控已经成为监控领域的发展趋势，国内外学者对智能视频处理技术进行了大量研究，并取得了惊人的成果 。 1997 年美国先进 项目研 究局 (DARPA) 资助了 视频监控项 目VSAM(Video Surveillance and Monitoring)的研究与开发。该项目主要研究对于城市和战场监控视频的自动分析理解技术，给操作人员提供丰富的信息支持，堪称智能视频监控系统的典范[27]。2000 年 IBM 联合美国马里兰大学(University of Maryland)开发了 W4(What,Where,When,Who)系统[28]，该系统不仅能够定位人的位置，进行多人的跟踪，还能检测出人是否携带行李等。2003 年由欧盟发起，包括法国 SILOGIC 公司以及英国雷丁大学在内的十多家机构参与了 AVITRACK 项目的研究，该项目主要检测并跟踪出现在停机坪上的飞机、行人和车辆等，提高了机场利用率的同时，对机场的安全提供了坚实的保障基础[29]。2006 年 IBM 又推出智能监控系统（Smart Surveillance System,S3）系统，S3 使用分析仪器索引监控视频，发生异常情况如当有人或者车辆进出安全区域时，将发出实时警报提醒安保人员[30]。由于 S3 系统的突出性能，北京奥运会也部署了该系统，以此来完成对所有奥运场馆的安全监控。类似的系统还有 MIT 多媒体实验室开发的 Pfinder 系统，该系统基于颜色统计方法对人体各部件进行跟踪和定位，实现复杂场景下单人体目 标 的 实 时 跟 踪 。 此 外 ， 微 软 公 司 也 推 出 了 Television Control by Hand Gesture(TCHG)和 Easyliving 系统。这些智能视频监控系统根据不同应用场合和用户开发，其功能特点从相对简单到复杂，采用的算法技术也不尽相同，这些都是得益于相关理论的研究发展。
1.2.1 智能监控系统研究现状
近年来，随着传统视频监控的局限性越来越突出，智能视频监控已经成为监控领域的发展趋势，国内外学者对智能视频处理技术进行了大量研究，并取得了惊人的成果 。 1997 年美国先进 项目研 究局 (DARPA) 资助了 视频监控项 目VSAM(Video Surveillance and Monitoring)的研究与开发。该项目主要研究对于城市和战场监控视频的自动分析理解技术，给操作人员提供丰富的信息支持，堪称智能视频监控系统的典范[27]。2000 年 IBM 联合美国马里兰大学(University of Maryland)开发了 W4(What,Where,When,Who)系统[28]，该系统不仅能够定位人的位置，进行多人的跟踪，还能检测出人是否携带行李等。2003 年由欧盟发起，包括法国 SILOGIC 公司以及英国雷丁大学在内的十多家机构参与了 AVITRACK 项目的研究，该项目主要检测并跟踪出现在停机坪上的飞机、行人和车辆等，提高了机场利用率的同时，对机场的安全提供了坚实的保障基础[29]。2006 年 IBM 又推出智能监控系统（Smart Surveillance System,S3）系统，S3 使用分析仪器索引监控视频，发生异常情况如当有人或者车辆进出安全区域时，将发出实时警报提醒安保人员[30]。由于 S3 系统的突出性能，北京奥运会也部署了该系统，以此来完成对所有奥运场馆的安全监控。类似的系统还有 MIT 多媒体实验室开发的 Pfinder 系统，该系统基于颜色统计方法对人体各部件进行跟踪和定位，实现复杂场景下单人体目 标 的 实 时 跟 踪 。 此 外 ， 微 软 公 司 也 推 出 了 Television Control by Hand Gesture(TCHG)和 Easyliving 系统。这些智能视频监控系统根据不同应用场合和用户开发，其功能特点从相对简单到复杂，采用的算法技术也不尽相同，这些都是得益于相关理论的研究发展。
智能视频分析技术相关理论的研究，也得到了许多国际顶级期刊和杂志的支持。比如：IEEE 模式识别与机器智能汇刊（IEEE Transactions on Pattern Analysis and Machine Intelligence），IEEE 图像处理汇刊（IEEE Transactions on ImageProcessing），计算机视觉与图像理解（Computer Vision and ImageUnderstanding），人工智能（Artificial Intelligence），模式识别（Pattern Recognition），国际机器学习大会（International Conference on MachineLearning），国际图像处理大会（International Conference on Image Processing），亚洲计算机视觉大会（Asian Conference on Computer Vision）等。这些会议与期刊为智能视频监控研究人员提供了良好的交流与学习平台，促进了智能视频分析技术的长足发展。
.............................
第二章 系统总体设计
2.1 系统可行性分析
在系统进行开发设计之前，我们从市场和技术两方面对本文提出的 ARM 平台下人脸识别智能监控系统进行可行性分析。
2.1.1 市场可行性
视频监控系统作为安防的重要技术手段之一，在全球安防领域都扮演着越来越重要的角色。其也正逐渐成为各国政府、企业甚至是个人家庭的刚性需求。未来随着 IT 通讯、生物识别等技术的发展，以及监控市场全球化趋势的加快，欧美国家对监控设备升级换代的需求以及新兴国家市场需求量的增长等都将促使视频监控市场保持快速发展的势头。
中国已经发展成为全球安防视频监控最大的市场之一。国内新农村建设和城镇化的推进直接带动了监控行业的发展。随着城市规模的扩大，平安建设已经成为政府的长期艰巨任务，社会治安防控体系也被公安部列为中心工作之一，政府的需求为视频监控行业带来了良好的发展空间。而社会整体安防意识的提高，安防视频监控也从特殊部门往教育、通讯、医疗、金融等社会公共行业扩展。众多单位对视频监控的投入也带动了视频监控产品的消费。因此，智能视频监控系统的市场前景将被持续看好。
2.1.2 技术可行性
本文设计的 ARM 平台下智能视频监控系统的技术可行性，主要体现在以下几个方面：
其一：本课题组经过多年的研究发展，在计算机视觉与模式识别领域积累的丰富经验成果，为本系统的设计实现奠定了坚实的理论基础。
其二：嵌入式技术的迅速发展，显著提高了嵌入式处理器的性能。为目标检测、识别等较复杂的图像处理与模式识别算法在嵌入式设备上的运行提供了硬件支持。在软件方面，出现了许多跨平台的开发工具，大大降低了嵌入式软件的开发难度。
其三：由于嵌入式系统功耗低、效率高、灵活性强等优点，催生出了大量嵌入式产品。这些产品的广泛应用，也推动了企业和个人投入到嵌入式系统的研究当中，他们积累的经验和技术为本系统的开发设计提供了良好的支持。所以，在此基础上，本文设计的智能视频监控系统，基本满足了所要实现功能的技术要求。
..............................
2.2 系统设计原则
设计一个好的智能视频监控系统需要解决许多实际应用中的问题。传统的基于人工操作的监控系统缺乏智能化因素，已经逐渐不能满足社会的需求。现有的智能监控系统大都需要高配置的硬件运行平台，系统体积庞大，价格高，不利于推广到普通家庭内使用。鉴于目前监控领域存在的问题，为了让本文研究和设计的智能监控系统功能更加完善，使用更加方便，价格更加合理，适合在家庭内的安装使用，本系统主要遵循以下四种设计原则：
智能化：本系统需要对摄像头捕获的视频图像进行分析处理，实现自动预警。本文通过人脸识别算法对闯入监控区域的人员进行身份识别，如果识别出陌生人的出现，则启动报警装置，并通知使用者家庭异常情况地发生，实现了智能监控功能。
小型化：本文注重系统的小型化设计。现有的视频监控系统，由于涉及多种设备，比如摄像头，录像机，路由器等。因此布线复杂，安装困难，而且也带来了不必要的安全隐患。因此本系统强调以最少的元器件实现系统功能，确保系统的实用性与隐蔽性，让用户觉得更加方便。
稳定性：智能视频监控要满足连续长时间工作的要求，因此系统的硬件和软件设计都要保证良好的稳定性。在硬件选型上，本系统选择使用功能比较完善的芯片(比如新的 ARM 处理器，GPRS 模块等)。这些技术较成熟的芯片拥有良好的性能，能使系统具有更高的稳定性，同时配备的标准使用规则能帮助技术人员缩短开发时间。在软件设计上，在确保系统各模块功能实现的前提下，不仅要尽量提高程序运行实时性，还要杜绝内存泄漏等影响系统稳定性情况地发生。
经济性：现有的智能视频监控系统，往往需要高配置的硬件设备维持运行，不适合在普通大众家庭内使用。因此，本文设计让系统运行在以小型嵌入式开发板为控制中心，连接 GPRS 模块和微型 USB 摄像头的硬件平台上。将成本控制在大众可以接受的范围内，有利于将来系统的推广和应用。
第二章 系统总体设计
2.1 系统可行性分析
在系统进行开发设计之前，我们从市场和技术两方面对本文提出的 ARM 平台下人脸识别智能监控系统进行可行性分析。
2.1.1 市场可行性
视频监控系统作为安防的重要技术手段之一，在全球安防领域都扮演着越来越重要的角色。其也正逐渐成为各国政府、企业甚至是个人家庭的刚性需求。未来随着 IT 通讯、生物识别等技术的发展，以及监控市场全球化趋势的加快，欧美国家对监控设备升级换代的需求以及新兴国家市场需求量的增长等都将促使视频监控市场保持快速发展的势头。
中国已经发展成为全球安防视频监控最大的市场之一。国内新农村建设和城镇化的推进直接带动了监控行业的发展。随着城市规模的扩大，平安建设已经成为政府的长期艰巨任务，社会治安防控体系也被公安部列为中心工作之一，政府的需求为视频监控行业带来了良好的发展空间。而社会整体安防意识的提高，安防视频监控也从特殊部门往教育、通讯、医疗、金融等社会公共行业扩展。众多单位对视频监控的投入也带动了视频监控产品的消费。因此，智能视频监控系统的市场前景将被持续看好。
2.1.2 技术可行性
本文设计的 ARM 平台下智能视频监控系统的技术可行性，主要体现在以下几个方面：
其一：本课题组经过多年的研究发展，在计算机视觉与模式识别领域积累的丰富经验成果，为本系统的设计实现奠定了坚实的理论基础。
其二：嵌入式技术的迅速发展，显著提高了嵌入式处理器的性能。为目标检测、识别等较复杂的图像处理与模式识别算法在嵌入式设备上的运行提供了硬件支持。在软件方面，出现了许多跨平台的开发工具，大大降低了嵌入式软件的开发难度。
其三：由于嵌入式系统功耗低、效率高、灵活性强等优点，催生出了大量嵌入式产品。这些产品的广泛应用，也推动了企业和个人投入到嵌入式系统的研究当中，他们积累的经验和技术为本系统的开发设计提供了良好的支持。所以，在此基础上，本文设计的智能视频监控系统，基本满足了所要实现功能的技术要求。
..............................
2.2 系统设计原则
设计一个好的智能视频监控系统需要解决许多实际应用中的问题。传统的基于人工操作的监控系统缺乏智能化因素，已经逐渐不能满足社会的需求。现有的智能监控系统大都需要高配置的硬件运行平台，系统体积庞大，价格高，不利于推广到普通家庭内使用。鉴于目前监控领域存在的问题，为了让本文研究和设计的智能监控系统功能更加完善，使用更加方便，价格更加合理，适合在家庭内的安装使用，本系统主要遵循以下四种设计原则：
智能化：本系统需要对摄像头捕获的视频图像进行分析处理，实现自动预警。本文通过人脸识别算法对闯入监控区域的人员进行身份识别，如果识别出陌生人的出现，则启动报警装置，并通知使用者家庭异常情况地发生，实现了智能监控功能。
小型化：本文注重系统的小型化设计。现有的视频监控系统，由于涉及多种设备，比如摄像头，录像机，路由器等。因此布线复杂，安装困难，而且也带来了不必要的安全隐患。因此本系统强调以最少的元器件实现系统功能，确保系统的实用性与隐蔽性，让用户觉得更加方便。
稳定性：智能视频监控要满足连续长时间工作的要求，因此系统的硬件和软件设计都要保证良好的稳定性。在硬件选型上，本系统选择使用功能比较完善的芯片(比如新的 ARM 处理器，GPRS 模块等)。这些技术较成熟的芯片拥有良好的性能，能使系统具有更高的稳定性，同时配备的标准使用规则能帮助技术人员缩短开发时间。在软件设计上，在确保系统各模块功能实现的前提下，不仅要尽量提高程序运行实时性，还要杜绝内存泄漏等影响系统稳定性情况地发生。
经济性：现有的智能视频监控系统，往往需要高配置的硬件设备维持运行，不适合在普通大众家庭内使用。因此，本文设计让系统运行在以小型嵌入式开发板为控制中心，连接 GPRS 模块和微型 USB 摄像头的硬件平台上。将成本控制在大众可以接受的范围内，有利于将来系统的推广和应用。
.................................
3.1 Vi Be 运动目标检测 ............................... 23
3.1.1 模型的初始化方法 .............................. 24
3.1.2 运动目标检测 ......................... 24
第四章 智能监控系统的实现和实验结果 ..................................... 35
4.1 智能报警的实现............................... 35
4.2 基于 Android 客户端的设计 ................................... 37
第五章 总结与展望 .................................... 42
5.1 本文工作总结.......................................... 42
5.2 未来工作展望........................... 42
第四章 智能监控系统的实现和实验结果
4.1 智能报警的实现
作为一个综合性的研究课题，本文不仅需要在小型硬件平台上实现远距离快速人脸识别的功能，而自动报警作为智能监控不可或缺的环节，也是本课题需要考虑的问题之一。为了帮助使用者及时了解家庭异常情况的发生，本文设计了智能报警模块。当系统识别出陌生人闯入监控区域时，将会触发报警器，发出警报声。同时，如果用户出门在外，系统将会通过 GPRS 模块，拨打电话或者发送短信给用户，提醒用户采取防范措施。下面将具体介绍本系统智能报警模块的实现。
本系统采用 OK210 开发板作为系统核心硬件平台。OK210 底板上集成了丰富的外围设备，其中就包括蜂鸣器。因此，本系统直接将蜂鸣器作为智能监控的报警器，这样不仅可以节约成本，降低硬件错误，也缩短了系统的开发周期。触发蜂鸣器的核心代码如下：
...........................
第五章 总结与展望
5.1 本文工作总结
随着民众安全意识的不断加强，在公共场所得到大量应用的视频监控系统也早已进入居民家庭，用以确保家庭人和财物安全。但是传统的视频监控设备缺乏智能因素，逐渐不能满足市场需求。因此，智能视频监控系统成为当前监控领域的研究热点之一。本文结合智能视频分析技术和嵌入式技术，设计并开发了一种基于 ARM 平台下的人脸识别智能监控系统。主要进行了如下几个方面的工作：
(1) 对智能视频监控系统的国内外研究现状以及发展趋势进行了调研，分析了 当前智能视频监控系统存在的一些难点。结合智能监控的发展情况，针对家庭场景，完成了基于人脸识别智能监控系统的设计。系统设计中考虑了如何将人脸识别智能监控系统技术应用在视频监控系统上，实现实时人脸身份认证并自动预警。
(2) 对系统开发过程中涉及到的可行性分析、设计原则、功能和结构设计进行 了详细分析和描述。设计并搭建了系统的软硬件平台。采用 QT 设计了系统的 GUI用户界面，以便用户对系统各个功能进行配置。
(3) 提出了一种结合运动目标检测的人脸识别算法。解决嵌入式 ARM 开发板 由于计算能力不足，无法在较高分辨率的视频图像中，快速识别较远距离人脸的问题。该算法首先提取视频监控中的运动目标，然后计算目标的最大外接矩形，通过平移和截取矩形操作，确保人脸处于矩形区域内。后续只在处理后的矩形区域图像内进行人脸检测和识别。实验表明，该算法不但可以大大降低人脸识别的计算量，而且识别率也得到了较大的提高。
(4) 实现了智能预警功能。当识别出陌生人闯入监控区域时，系统将会启动蜂 鸣器发出警报声。并且通过 GPRS 模块，发送短信或者拨打电话给用户。最后，本文设计了一款基于 Android 的客户端，用户可以使用该客户端，登录服务器查看陌生人闯入家庭时，系统实时保存的视频图片，达到远程监控的目的。
5.1 本文工作总结
随着民众安全意识的不断加强，在公共场所得到大量应用的视频监控系统也早已进入居民家庭，用以确保家庭人和财物安全。但是传统的视频监控设备缺乏智能因素，逐渐不能满足市场需求。因此，智能视频监控系统成为当前监控领域的研究热点之一。本文结合智能视频分析技术和嵌入式技术，设计并开发了一种基于 ARM 平台下的人脸识别智能监控系统。主要进行了如下几个方面的工作：
(1) 对智能视频监控系统的国内外研究现状以及发展趋势进行了调研，分析了 当前智能视频监控系统存在的一些难点。结合智能监控的发展情况，针对家庭场景，完成了基于人脸识别智能监控系统的设计。系统设计中考虑了如何将人脸识别智能监控系统技术应用在视频监控系统上，实现实时人脸身份认证并自动预警。
(2) 对系统开发过程中涉及到的可行性分析、设计原则、功能和结构设计进行 了详细分析和描述。设计并搭建了系统的软硬件平台。采用 QT 设计了系统的 GUI用户界面，以便用户对系统各个功能进行配置。
(3) 提出了一种结合运动目标检测的人脸识别算法。解决嵌入式 ARM 开发板 由于计算能力不足，无法在较高分辨率的视频图像中，快速识别较远距离人脸的问题。该算法首先提取视频监控中的运动目标，然后计算目标的最大外接矩形，通过平移和截取矩形操作，确保人脸处于矩形区域内。后续只在处理后的矩形区域图像内进行人脸检测和识别。实验表明，该算法不但可以大大降低人脸识别的计算量，而且识别率也得到了较大的提高。
(4) 实现了智能预警功能。当识别出陌生人闯入监控区域时，系统将会启动蜂 鸣器发出警报声。并且通过 GPRS 模块，发送短信或者拨打电话给用户。最后，本文设计了一款基于 Android 的客户端，用户可以使用该客户端，登录服务器查看陌生人闯入家庭时，系统实时保存的视频图片，达到远程监控的目的。
参考文献（略）