第1章 绪论
1.1群体行为分析的研究背景与意义
人口的增长、人群活动的多样使得群体场景变得普遍。群体行为中蕴含着很多跨学科领域问题的重要线索，理解群体行为的形成机理早已成为社会学和自然科学重要的研究课题之一。当视频中人群数量增大，群体场景更为复杂，如何自动有效地建模、分析、理解群体行为数据从而更好地为人类服务成为一个重要的挑战。群体行为分析的研究可以为很多关键工程应用提供支持和相应的解决方案，如智能视频监控、人群异常监测、公共设施规划等。本文从群体行为的认知机理的角度出发对有效的群体行为计算框架和算法模型展开研究，试图挖掘真实场景视频数据中出现的动态群体模式和行为，以解决计算机视觉领域的实际问题。目前视频中群体行为分析问题以普通的监控视频为基础，通过计算机视觉技术对所监控场景中群体行为和事件进行理解和分析。这改变了传统视频监控过于依赖人力的问题，能够自动实现对群体行为的分析和描述，实现对大规模人群场景的智能监控。群体行为分析和理解成为视频监控的一个重要的研究分支，在面向公共安全，交通运输，设施规划等多个领域都有广泛的应用。同时，人工智能，机器视觉，认知科学等前沿科技的蓬勃发展也为视频内容智能理解提供了保证。以往视频内容分析中行为理解工作主要集中在理解个体行为，如动作检测、目标跟踪、对象识别等，而忽视了对大规模群体行为的理解。相对于个体行为的分析和识别，群体行为更为真实化，复杂化。基于此，如何针对群体行为进行有效的描述与对群体行为进行合理的度量是群体行为分析中两个基本的研究问题。与此同时，群体行为认知机理在群体行为理解中具有重要意义。作为一个交叉学科，群体协作行为的形成比如成群结对的鱼，簇拥的小鸟和聚集的蚂蚁，这些群体协作现象的研究也是社会认知与自然科学探讨的中心问题。社会学研究工作[1]指出当个体处在群体中的时候，个体所表现出来的行为与其单独存在的时候完全不同，原因在于群体中的其他个体和外在环境均对于当前个体的意识和行为有着巨大的影响。
.........
1.2群体行为研究现状及分析
群体行为分析是视频行为分析的一个分支。之前大量的研究工作局限在从模式识别的角度来看待问题，即把一段活动看成时间序列上的动作集合(如跑，停，坐，走等)。即便在最简单的假设下，这个问题也很复杂，涉及到人群对象的表观多样，人群的数量差异(个体，群组，群体)，环境条件的变化(室内，室外，天气)。近来一些研究工作从认知机理的角度来看待行为分析的问题，引入了社会、情感、心理学原理和观点，被称为社会信号(Social Signal)[25]。社会信号利用了社会先验去编码人是如何行动以及与周围人和环境是如何交互的。这代表着旨在系统化，算法化地计算和分析涵盖社会行为学和认知心理学在内的社会信息。社会信号关注在揭示驱动人以一定方式做出特定行为的潜在原因。试图理解这些社会信息是对视频中行为理解极其重要的。一个典型的行为分析系统包括2个阶段，首先进行目标定位，包括物体分割和物体识别。是将原始数据作为输入并检测出感兴趣区域的预处理阶段。二是行为识别阶段，包括物体跟踪和行为分析。一般把目标的轨迹和检测结果作为输入，对行为活动进行合理地描述。通用的思路是对于每个目标进行检测，然后通过在一些连续帧上的动作分类器分类成简单的动作。挖掘时序逻辑是强烈依赖上下文，并与监控场景紧密联系的。与社会、情感、心理等认知因素相联系的社会信号旨在强调这个部分，同时也是当前方法得到广泛应用的关键所在。从社会信号的角度，小规模人群行为分析的工作针对群组和多人活动研究最先开展起来。在工作[26]中，群组活动被表示为几何形状，其中顶点是移动的人的位置。这样的“均值形状”可以表示一个特定的群组活动，其变化可以用来识别异常事件。工作[27]将群组活动分类为三种局部因果关系类型，分别为自因果(self-causality)，对因果(pair-causality)，组因果(group-causality)，来描述不同的八个活动类型的运动轨迹的局部交互和推理关系。工作[28]采用了一个异步的隐马尔科夫(HMM)方法作为层次化结构模型研究了不同数量人群参与的交互作用。该方法可以区分对称(i与j谈话)和非对称(i跟着j)的动态行为。
.........
第2章 基于结构化交互属性的群体认知表达
2.1引言
群体认知表达是对群体行为进行分析和理解的重要前提。在这其中，结构化交互属性是构成群体认知表达的基本单元。结构化的交互信息对于群体认知有重要的作用[58]，具体表现为：1）结构化信息使得大脑皮层更好地理解和识别人所看到的视觉场景；2）群体行为的认知离不开不同尺度的信息，大尺度和小尺度信息构成了由粗到精的认知机制。不同于视频中个体动作识别与分析，发生在群体场景中的群体行为造成个体产生了复杂的交互语义并呈现出多样的社会性属性，使得分析群体行为视觉语义更加具有挑战性。群体认知表达模型旨在提取符合认知因素的有效特征来描述群体场景中个体和团体的行为模式。从社会学的角度，群体行为的发生往往受约束于社会学的先验知识，并反映较高层语义的交互关系。在此趋势下，基于中层视觉表达的模型逐渐流行起来，通过挖掘潜在的运动特性和规律来构建和描述对象间的关系[15, 59]。由于这类模型关注于物体或对象之间特定的联系和交互关系，从而使得视觉内容的语义层次从底层特征级别到中层物体级别得到了扩展和提升。因此，开发结构化交互语义并利用其丰富性来构建中层的群体行为语义描述可以在群体行为分析的应用中取得突破。为了实现自动识别群体行为并验证交互语义起到的作用，一个新兴的重要应用就是群体场景中异常行为的检测和定位。在这种任务设置下，群体行为的交互作用通常被建模成一个量化的表示来作为在群体场景中分析和理解异常行为的基础。具体地，给定一个群体场景的视频片段，异常检测任务是根据群体中的个体运动一致性，发现并标出与周围运动严重不一致的个体行为作为“异常行为”。为了这个目的，大量的模型方法被提出来进行准确和鲁棒的异常检测任务，包括构造基于运动特征的结构化表示模型，定义及发现场景中不一致性的模型等，例如：MP-PCA[37]，光流场低阶统计量[60]，动态纹理[42]，马尔科夫随机场(MRF)[50]，和稀疏表示[45]等。与检测“全局”不一致性的模型不同，工作关注于检测和定位“局部”的不一致性和探索群体场景中的“选择性”机制。
...........
2.2估计群体交互力
本文通过对视频语义中群体的规律的观察，总结了群体语义属性自身结构特性，进而在后续的工作中，尝试针对语义属性的自身特性，更好地对其进行表达和描述。图2-2中描述了所提出方法。我们首先在视频帧内放置粒子网格然后利用粒子平流模块计算传统的社会力，在第一部分给定的输入序列会提取出社会力并计算粒子轨迹。之后，我们设计社会属性力模型，来丰富群体交互下的场景尺度和社会属性。在第二个模块中,受归纳总结的社会属性假设的启发，我们通过提出的统计性特征来建模社会属性。我们计算视频帧中粒子承载的社会力并通过用一个在线融合的方法来得到社会属性力图。最后在模型应用模块，我们利用Bag of Force词包表达模型，来进行全局异常事件检测，通过异常图结合相应的分类器方法来进行局部异常检测和定位。我们描述社会属性来反映交互的性质，并且建模基于社会属性假设下面的吸引和排斥的现象。我们的社会属性力模型可以有效地描述群体行为场景的自组织交互作用。
.........
第3章 基于结构一致性图挖掘的群组检测............. 49
3.1引言..... 49
3.1.1相关工作............ 50
3.1.2本章的主要工作........... 51
3.2共生结构一致性的轨迹图词包模型......... 52
3.3共生结构一致性表示实验结果...... 57
3.3.1异常检测任务..... 57
3.3.2事件识别任务..... 58
3.4形成结构一致性密集子图挖掘模型......... 60
3.5形成结构一致性表示实验结果...... 65
3.6本章小结........ 67
第4章 基于深度属性嵌入图学习的群体视频检索.... 69
4.1引言..... 69
4.1.1相关工作............ 69
4.1.2本章的主要工作........... 71
4.2群体视频检索框架.... 72
4.3深度属性嵌入图排序.......... 73
4.4实验结果及分析....... 76
4.5本章小结........ 82
第5章 基于结构化轨迹学习的群体情感建模.......... 84
5.1引言..... 84
5.2社会情感原则........... 87
5.3群体情感表示........... 89
5.4实验结果及分析....... 97
5.5本章小结........ 108
第6章 基于结构化深度网络的群体显著度预测
6.1引言
在之前的章节，我们探索了群体认知语义表达和结构化认知因素在群体场景中应用。然而，作为认知群体的一部分，人眼会选择性的处理群体环境中的某些区域，局部刺激会强烈高于其余部分而产生群体场景的注意机制。显著度估计作为群体环境的注意机制的输出处理是在视频语义理解中的重要问题，但仍没有被完全定义和探索。其中主要挑战在于群体场景中的人眼注视点（显著性区域）潜在的具有“独特性”和“多峰值分布”的结构化特点，这是与传统场景中的显著度预测问题有所不同。为了进行群体场景中的显著度预测，现有的显著性检测方法通常依赖于设计手工的特征并利用浅层的学习机制，这往往忽略了群体场景中固有的结构化特性。在本章中，我们在之前对于群体场景的认知表达和语义分析基础上，通过统计观察分析获取群体场景的结构化先验，构建基于结构化深度网络的针对群体视频的显著度计算方法，具有以下两点创新：1)考虑到群体场景人眼关注点的结构化认知特性，具有独特性的种子群体单元通过第一阶段的堆叠去噪自动编码器(SDAE)利用认知响应机制被挖掘出来。2)在第二个阶段，通过在排除种子的堆叠去噪自动编码器(SDAE)来对每个群体单元求得深度重构误差，从而获到基于对比度显著性估计值。所提方法整合两阶段级联的深度网络模型来在线处理获得群体视频中每一帧的显著图。我们在两个群体视频的基准数据集上进行了大量的实验，结果表明这样结构化的级联SDAE的深度网络可以有效地发掘群体显著性机制，取得比经典方法更好的实验结果，并对超参数具有鲁棒性。
..........
结 论
本文主要针对群体行为分析的两大挑战，即群体行为认知机理和结构化语义的缺失，展开相应研究。基于结构化认知的相关因素和理论，本文较系统地研究了视频中群体行为分析的各个方面，包括刻画群体行为相关结构化语义信息来增强群体表达的判别力，对群组进行协同建模提升结构化语义表示能力，以及综合结构化认知表示挖掘群体行为的高层语义知识，并在异常行为检测、群体事件识别、群体情感分类、群体显著度预测等多个实际问题中对提出的相关模型进行应用和验证。本文的主要创新点可以概括如下：
（1）针对群体行为认知机理缺失问题，提出了一个基于结构化交互属性的群体表达模型SAFM。本文通过构建中层的量化表示提升了表达的判别力并增加了丰富性。该方法同时考虑到场景尺度，混乱和拥挤属性来有效地捕捉群体运动模式的潜在交互作用。进一步提出在线的属性融合策略来进行阈值选择来增强融合效果。实验结果表明，通过在UMN、UCSD和UCF-Web数据集上与经典方法和替代方法的比较，所提的SAFM方法在全局和局部的异常检测任务中得到了验证，同时对场景的多样和内容的变化是鲁棒的。
（2）针对群组结构的描述问题，首先提出了一个基于共生结构一致性的群体表示，轨迹图词包模型BoTG。所提方法设计聚类形成的粒子轨迹图的量化表示描述群体行为模式的共生关系，识别特定的群体事件。在UMN和PETS数据集上的实验结果表明BoTG模型在表达密集群体行为模式问题上的有效性。其次，面向群组检测任务，提出了基于形成结构一致性群组检测方法。通过对群组轨迹成员的形成周期进行表示，利用贝叶斯公式整合空间规律和时间统计信息到图结构中。将结构化群组搜索的问题转化为密集子图挖掘的问题。在eth，hotel和stu003数据集上的实验结果表明了所提的方法优于其他主流方法，对群组检测任务具有有效性和鲁棒性。
（3）对于群组的多属性协同建模，提出了一个深度属性嵌入的图排序算法来进行群体视频检索。通过组织不同级别和结构的群体轮廓描述属性，通过深度嵌入的图排序算法来同时迭代优化排序分数，深度转换矩阵和属性权重。在CUHK-Crowd数据集上的实验结果展示了所提方法可以有效地检索出具有语义相似性群体视频。同时验证了不同属性和融合方法的性能，结果表明了所提方法的有效性及推广性。
..........
参考文献（略）