第一章 绪论
1.1 课题研究背景与意义
随着科技水平的不断发展，人们对互联网技术日益依赖。科技水平的提高在给人们带来便利的同时，也带来了一些安全方面的问题。在互联网的世界中，传统的身份认证主要通过密码来验证用户是否拥有各种权限。如果密码设置过长，则在输入密码以及记忆密码方面会为用户带来不便，如果密码设置过短，随着算力的不断提高，通过暴力算法就能将密码破解，会给用户带来极大的风险。因此找到一些比较容易记忆且不易破解的密码极为重要。
在上述的背景下，生物特征识别技术（Biometric Recognition）[1]应运而生。生物特征识别技术是指计算机通过光学、声学等各类生物传感器，捕获人体的一些生物特征如指纹、人脸、虹膜等。这些生物特征相对传统的口令密码，具有无需记忆、信息量大、特征唯一、便捷等特性，因而被广泛应用于各类身份认证领域。在上述的各类生物特征中，人脸特征具有非接触、易辨识、易获取、采集设备易安装等优点，因此基于人脸的识别技术被应用于各种场景，比如：手机解锁、火车站检票、银行取款、酒店入住登记、门禁系统等。正因为其广泛的应用，所以人脸识别系统的安全问题也得到更多的重视。随着拍摄设备的不断更新，智能手机像素不断提高，使得人们更容易获得其他人的面部信息，再加上目前社交媒体的传播，使得面部特征几乎暴露在公众面前。人脸的易获取以及采集设备的易安装特性反而成了影响其安全的重要因素。在 2002 年，FaceVACS 人脸识别系统就被 Thalheim 等人利用用户的打印照片和视频片段成功骗过[2]。该实验的结果使得研究者在不断提升人脸识别系统准确度的同时也开始关注了系统的安全性和可靠性。如何保证人脸识别系统中检测出的特征都是来自于用户本人，如何建立更加安全的识别策略，从而保证人脸识别系统的安全性，是目前研究的热点。因此，人脸活体检测技术应运而生。
图 1-1 加入活体检测算法的人脸识别系统
1.2 国内外研究现状与技术难点
人脸活体检测算法可以有效的提高身份认证系统的安全性，避免身份认证系统遭到不法攻击，因此该课题具有重要的研究前景和广阔的商业价值，是国内外研究者和企业都非常关注的研究领域之一。当前，国内有很多研究所、高校以及计算机视觉方面的学者在人脸活体检测方面做了大量的研究和贡献，如中国科学院自动化研究所、南京航空航天大学、复旦大学、浙江大学等。在近几年的顶级会议和期刊上，我国学者为第一作者的文章也层出不穷，提出了大量有创新性的方案。前人的研究工作为后来者在此方向的研究提供了很多创新型的思路，也积累了很多宝贵的经验与方法。国外研究人脸活体检测的院校主要有芬兰奥卢大学、美国密歇根州立大学等，各高校的学者都在人脸活体检测方面做了大量的工作和贡献。
类似于其他的计算机视觉任务，人脸活体检测任务也可以分为特征提取和特征分类两个阶段。特征提取阶段主要用来提取出能表征图像特点的特征值，可以看作是将图像特征化。由于不同的图像特征其着重点不同，因此对于不同的视觉任务，可能选取不同的特征表示方法，比如对于人脸识别任务，需要重点关注图像中包含的内容，而物体检测则更加关注物体的边缘。特征提取和分类的算法有多种，随着模式识别技术的不断发展，相关技术如机器学习和深度学习相继出现，也不断有新的方法应用到人脸活体检测中来。早期的人脸活体检测算法主要依据一些传统的手工特征并将人脸活体检测任务看作是一个分类问题，利用人脸特征的多样性，人为的选择一些能够体现真实人脸和攻击人脸差异的特征算子，然后结合一些传统的机器学习方法来训练分类器，达到区分真实人脸和攻击人脸的目的。手工特征通常需要根据攻击类型的具体特性来进行设计，所以其泛化能力较弱，并且特征选取比较困难，大多数情况下需要根据研究者的经验来选取。常见的手工特征包括运动特征、纹理特征、频域特征等。随着深度学习在其他计算机视觉领域的不断发展，研究者们开始将深度学习应用于人脸活体检测领域。通过深度学习的特征自动学习能力，自动的学习到能够区分真实人脸和攻击人脸的特征。
..............................
第二章 基于深度学习的人脸活体检测理论概述
2.1 引言
人脸活体检测是保证人脸识别系统安全的重要一环，因此有着广泛的应用场景和重要的研究意义。随着深度学习方法被成功应用到各种计算机视觉任务中，如目标检测[31,32]、图像分类[33]、语义分割[34]等，以深度学习为基础的人脸活体检测算法也逐渐成为人脸活体检测领域的一个研究热点。本章首先对深度学习的基础原理进行阐述，然后介绍基于深度学习的人脸活体检测算法流程以及人脸活体检测中常见的欺诈方法，最后介绍国内外广泛用于评价人脸活体检测算法性能的数据集以及用于评估人脸活体检测算法效果的一些评价指标。
积层的主要任务是对图像进行卷积操作，用来提取图像的特征。通过多个卷积层来对输入的内容不断进行特征提取，该操作类似于人类的视觉系统，通过逐层分级进行认知。低层的卷积用来识别初级的图像特征，比如各种边缘和方向，然后经过多层的底层特征组成更上一层的特征，通常这些特征能够用来描述一类物体，比如眼睛、鼻子、轮子等，利用这些高级特征就能实现对物体做出分类的任务。
卷积操作在数字图像处理中是一种常见的操作，卷积依据处理对象的不同，可以分为一维卷积、二维卷积、三维卷积和多维卷积等操作。卷积操作其实就是通过将一个卷积核和输入进行点积，即卷积核和输入之间通过逐元素相乘，并把乘积相加，得到单个值。将卷积核在一个图像上进行从左到右，从上到下滑动，最终得到对应的特征图。图2-3 展示了二维卷积计算的过程。
........................
2.2 深度学习技术相关理论
2.2.1 多层感知机
多层感知机是一种典型的深度学习结构。多层感知机通常由多层构成，每一层都通过全连接到下一层，通过多层结构的堆叠，可以增加模型的复杂性，这样便能够对更加复杂的问题进行描述和模拟。多层感知机除了输入层和输出层外，还增加了隐含层，并且对于一个多层感知机而言，可以包含多个隐含层，所以多层感知机在应用起来也更加灵活，可以针对不同的问题来设计不同层数结构的网络结构，图 2-1 展示了一个简单的多层感知机结构。
图 2-1 多层感知机结构
.............................
第三章 结合混合池化的双流活体检测网络.......................................19
3.1 引言...................................................19
3.2 相关工作介绍..................................19
第四章 利用局部和深度信息的活体检测网络................................................31
4.1 引言....................................................31
4.2 相关工作介绍...................................31
第五章 基于图像转换的活体检测网络.......................................42
5.1 引言....................................................42
5.2 相关工作介绍..................................43
第五章 基于图像转换的活体检测网络
5.1 引言
卷积神经网络可以通过损失函数的引导自动从数据集中学习到有用的特征。为了让卷积神经网络学习到更具有区分性的特征，最近有很多方法开始利用一些带有人为经验的辅助信息来协助卷积神经网络学习。在人脸活体检测领域，最常见的辅助信息有远程光体积描记术（remote PhotoPlethysmoGraph，rP PG）和深度信息。rP PG 是一种基于视频的非接触心率测量方法，Liu[26]等人基于经验假设在真实样本中具有正常的 rP PG 信号，而欺诈样本中则无法检测到该信号，因此利用 rP PG 作为辅助信号监督网络。本文的第四章则假设真实的样本具有面部深度，而打印攻击或重放攻击的样本不具有深度信息，因此采用了基于深度信息辅助监督的网络。从第四章的实验结果可以看出深度信息可以有效的辅助网络学习到有效的信息，提升最终的效果，这也激发了我们进一步对深度信息进行探究的想法。
为了更加直观的对 RGB 信息和深度信息进行对比，图 5-1 展示了几张 RGB 信息和深度信息的对比图像。图中的第一行展示了来自 RGB 信息的四张样本，通过比较，发现很难区分出真实样本和欺诈样本。第二行则显示来自深度信息的四张样本，从中很容易看出第一张和第三张为欺诈样本，而第二和第四张为真实样本。然而，当前主流的人脸活体检测数据集，比如 CASIA-FASD、Replay-Attack，都只有 RGB 类型的数据，这阻碍了对深度信息的利用。为了能够有效的利用深度信息，在本章设计了一个图像转换网络，该网络的主要作用是将 RGB 图像转换成深度图像。具体而言，首先利用 PRNet[73]为 RGB 数据生成深度图像标签。其次使用生成对抗网络作为转换模型，将原始 RGB 图像转换到深度图像中，生成对抗网络在进行转换的时候，其隐含层特征包含了深度信息，可以用来分类。最后，使用生成对抗网络的隐含层特征训练一个具有分类效果的神经网络，对样本的真假进行判断。通过对抗性训练，生成对抗网络能够生成具有鉴别性的深度人脸，进一步提高分类器的效果。
图 5-1 RGB 信息和深度信息的对比
第六章 总结与展望
6.1 总结
人脸活体检测技术是人脸识别领域的新兴研究课题，是保证人脸识别安全的重要一环，对保障公共安全和用户隐私有着重要意义，有良好的应用前景。当前主流的欺诈方式包括照片打印攻击和视频重放攻击。目前针对活体检测的主要手段包括利用传统特征和基于深度学习，而传统特征不能满足复杂多样的欺诈手段，并且泛化性相对较低，因此本文基于深度学习理论，并依托当前主流的活体检测方案，提出了三种基于深度学习的活体检测算法。通过对网络的输入数据、网络结构等方面进行尝试，不断降低人脸活体检测算法的错误率。总体而言，本文的主要研究内容如下：
（1）提出了一个结合混合池化的双流活体检测网络。网络接受的输入数据来自包含空间信息的普通图像以及包含时间信息的光流图像，通过二者的融合达到对时间信息以及空间信息的互补利用。除此之外，在网络中增加了以空间金字塔和全局平均池化为基础的混合池化模块，有效的减少了网络的参数，并验证了方法在不同颜色空间下的表现情况。实验结果表明，方法在 CASIA-FASD、Replay-Attack 通用的人脸活体检测数据集上面有不错的表现。
（2）提出了一个利用局部和深度信息的活体检测网络。该网络受上面方法的启发，局部信息在一定程度上可以减少人脸无关信息对最终结果的影响。通过将人脸划分为多个小块，并以块作为网络的输入，进而学习到具有区分性的特征。除此之外，还加入了一个利用深度信息的网络，使用深度信息作为网络的监督，并利用结构相似性作为损失，从整个特征层面辅助原来的二元监督。实验结果表明，深度信息能有效的提升活体检测的效果。
（3）提出了一个基于图像转换的活体检测网络。该网络受上面方法的启发，为了更加有效的利用深度信息，通过生成的方法将原图像转换到深度图像。具体而言，引入了生成对抗网络作为生成模型，生成对抗网络通过对抗学习能够获得更高质量的深度信息，进而辅助分类器达到更好的效果。实验结果表明，方法具有很好的泛化性，不仅在CASIA-FASD、Replay-Attack 主流的活体检测数据集上取得了较好的表现，而且在跨数据集测试上也取得了不错的结果，充分证明了方法的泛化能力。
参考文献（略）