本文是一篇软件工程论文，本文提出了基于深度学习三维人脸识别算法，从三维人脸映射与三维点云输入两个角度出发，使用了不同的三维数据映射方法与三维点云采样方法，使用轻量化的二维卷积神经网络与点云卷积神经网络进行特征提取与属性识别，通过各类实验验证了方法的有效性。
第1章绪论
1.2研究背景与意义
在日常生活中，人类能非常轻松地通过观察面部特征分辨出一个人的性别、种族，以及估算此人的大致年龄。许多研究（人体测量学、认知心理学、人体解剖学等）[25-30]致力于了解人类这一能力的原理，其中人体测量学研究发现，不同的性别、种族、年龄之间存在着明显的面部形态差异。
性别差异方面，研究人员发现男性的脸部相较于女性有一些明显的特征：男性的鼻子、眉毛、嘴唇和下巴通常更为突出，前额向后倾斜，上唇部和鼻部之间的距离更长。种族差异方面，相较于欧美白种人，亚洲人的脸和鼻子通常较宽，眼间距较远，并且在眼眶的解剖区域（眼睛和眉毛周围）表现出最大的差异，比如在人体解剖学临床研究中发现白种人的胎儿额上颌面角（Fronto-Maxillary Facial Angle）测量值明显低于亚洲人的。上述研究表明，人面部形状和几何结构的差异可以帮助我们分辨性别、种族等软生物特征。图1.1分别展示了白种女性，白种男性与亚洲女性的三维可视化模型，通过观察可以发现人脸形状和一些局部几何特征，在进行性别和种族分类时具有很强的判别性。
软件工程论文怎么写
近年来，随着深度学习技术的广泛应用，抽象特征学习取得了长足的进步，使得当前二维人脸属性分析的算法性能有了显著提升，且在现实生活中得到广泛应用。但是二维人脸存在一定的局限性，三维人脸属性识别的研究者认为，二维的面部纹理是面部皮肤引起的外部照明的反射和吸收效应，三维人脸则提供了丰富的面部形态表述，并且区分了面部区域与环境的边界。
..........................
1.3人脸属性识别国内外研究现状
人脸属性识别任务根据输入数据的维度不同，可以分为二维和三维人脸属性识别。近年来，随着深度学习技术的进步与大量人脸属性识别相关的数据集公布，二维人脸属性识别算法性能得到了极大的提升。三维人脸由于其数据存储形式（如点云，网格等）不同于二维人脸，不能直接使用卷积神经网络学习特征提取，且现阶段公开的三维人脸数据库数量较少，三维人脸属性识别研究发展缓慢，现有研究皆为基为传统机器学习方法。本节将详细介绍二维人脸与三维人脸属性识别的研究现状。
1.3.1二维人脸属性识别相关研究进展
2015年CelebA与LFW[62]两个大规模带各类属性标签的人脸数据集公开，掀起了二维人脸属性识别的研究热潮。二维人脸属性识别算法可以分为基于局部特征和整体特征的方法，图1.2展示了二维人脸属性识别的发展历程。
基于局部特征的人脸属性识别的算法流程为：1）定位人脸特征区域。2）在特征区域附近提取特征。3）属性预测。根据人脸特征区域定位方案的不同，基于局部特征的方法又可进一步分为两大类：分离辅助定位法和端到端定位法。具体来说，分离辅助定位的人脸属性识别方法需要先借助现有的一些人脸检测算法帮助定位，例如面部关键点检测[1][2][6][9][10]和人脸语义分割算法[3][7][8][47]，然后从不同的面部区域提取相应的特征进行进一步分析（属性识别和定位算法相互独立）。如Kalayeh[47]等人使用像素级的语义分割进行定位，并搭建了主要由SSP（Semantic Segmentation-based Pooling）和SSG（Semantic Segmentation-based Gating）两个核心模块构成的深度卷积神经网络（CNN）模型。通常图像预测的网络通过卷积得到特征图，再聚合输入到分类器，而Kalayeh等人通过SSP模块改变了全局池化与空间无关的问题，使用语义分割将图像分割为不同的区域，让模型学习哪些区域参加特征提取以及如何聚合这些特征图。
............................
第2章卷积神经网络基础
2.2卷积神经网络基本概念
2.2.1卷积层
使用计算机模拟大脑处理信息的模式可以实现各类智能化算法，其中单个神经元的抽象数学模型可以用图2.1模拟，假设有三个变量输入，将变量与各自的权重值相乘求和并加上偏置，再经过激活函数后输出。通过若干个神经元形成一个层次分明的多层结构，再通过神经元的互联，完成对目标函数的逼近。根据工作原理可知，当输入变量较多时，需要求解的参数规模会变得非常庞大。在计算机视觉领域，常用的神经网络为卷积神经网络，利用卷积的思想减少参数量，并提升对图像特征进行提取的能力。
软件工程论文参考
............................
2.3常用卷积神经网络模型
得益于海量带标记的数据集ImageNet的出现和计算机硬件的进步，2012年后出现了大量关于卷积神经网络的研究。本节将简单介绍在本文实验中使用到的神经网络：VGGNet[31]、ResNet[45]、LightCNN[46]、MobileNet[67]、PointNet[32]、PointNet++[33]。
2.3.1经典二维卷积神经网络
VGGNet是牛津大学视觉组和谷歌的研究员共同研发的CNN模型，通过若干卷积层的堆叠，构建了一个非常深的卷积神经网络。VGGNet最大的特点有：1）更小的卷积核，作者认为两个3*3卷积层组合可以实现5*5的有效感受野。2）更小的池化层。3）在每个池化层后将卷积核的个数翻倍，随着网络层数的增加，不断扩大特征图的通道数。相较于当时的先进算法，VGGNet的分类错误率大幅下降，在ILSVRC 2014取得了分类项目第二名。
ResNet是2015年ImageNet比赛分类任务的第一名，之后许多研究使用ResNet作为骨干网络完成检测、分割、识别等任务。ResNet的作者通过实验发现，不断加深网络深度不会一直增加模型的精度，反而在网络收敛时会出现退化问题。根据反向传播算法的原理可知，在网络加深的过程中，需要不断地传播梯度，梯度在传播的过程中会逐渐衰减，导致无法更新前面层级的网络权重。基于此设计了残差网络（residual network），在不增加新参数的情况下保证了网络在反向传播过程中梯度不小于1。
LightCNN是一个轻量化的卷积神经网络模型，受到神经元抑制启发，提出了一种新的特征图融合方法MFM（Max-Feature-Map operation），在特征提取效果和特征提取速率取得了很大的进步。在大规模减少参数量的情况下，人脸识别任务上取得了优秀的识别率。
.............................
第3章三维人脸数据库与数据预处理..........................15
3.1引言..............................15
3.2三维数据与常用三维人脸数据库......................15
第4章基于映射的三维人脸识别算法...................................23
4.1引言..................................23
4.2三维人脸映射方法.........................23
第5章基于点云输入的三维人脸属性识别算法...........................39
5.1引言................................39
5.2三维点云采样技术.................................39
第5章基于点云输入的三维人脸属性识别算法
5.1引言
深度学习技术在二维图像任务（检测，定位，分割，识别）中有了长足的进步与广泛的应用，即使是本文第四章使用的方法也是将三维空间的人脸映射到二维平面后再进行识别。由于三维点云在空间中的无序性和排列不变性，导致无法直接使用卷积的思想直接对点云进行特征提取，且大规模点云计算会消耗大量计算资源，导致模型训练难以开展，所以想要直接使用深度神经网络来进行点云模型的识别需要解决以下三个问题：1）如何从稀疏数据中找到高信息密度表示的点云，2）如何建立一个满足无序性和排列不变性等限制的网络，3）如何以较低的时间和计算资源消耗处理大量数据。本章使用现有的点云识别卷积神经网络，针对三维人脸属性识别任务的特点，改进点云下采样算法，解决上述问题。
随机采样的思路非常简单，首先把整个三维点云依次放入数组，再不断地随机剔除或选择数组中的点，直到选择了或者剔除了设定的点数阈值。算法具体实现时会设置一个概率，每个点被选择或被剔除的概率相等，只需要遍历一次数组即可得到结果，是一个简单高效的算法。但是这个算法的缺点十分明显，随机的选择不能保证采样点集覆盖特征明显的区域，也不能保证采样的点集的均匀性，导致丢失大量的特征区域并形成空洞。
软件工程论文参考
..............................
第6章总结与展望
6.1工作总结
在高度信息化的今天，准确有效地判断人脸的性别、种族等属性可以有效地促进人机交互。三维人脸属性识别是人脸属性识别的一个极具潜力的研究方向，虽然大量研究已经证明了深度卷积神经网络在二维人脸属性识别中的有效性，并且三维人脸天然具备对光照，姿态，化妆等问题的鲁棒性，但目前仍没有使用该技术完成三维人脸属性识别的相关研究。本文探索了这一空白的研究领域，并随着三维人脸获取硬件设备的快速发展，三维人脸数据变得更易获取和操作，所以可以相信未来关于三维人脸的研究会越来越多。
本文提出了基于深度学习三维人脸识别算法，从三维人脸映射与三维点云输入两个角度出发，使用了不同的三维数据映射方法与三维点云采样方法，使用轻量化的二维卷积神经网络与点云卷积神经网络进行特征提取与属性识别，通过各类实验验证了方法的有效性。本文的主要工作总结如下：
（1）通过调研国内外文献，详细介绍了人脸属性识别各类技术路线，总结了人脸属性识别的核心思想与目前存在的难点。另外介绍了卷积神经网络的相关技术，以及针对三维点云分类的网络模型解决点云无序性的思想。
（2）针对经典深度学习模型无法直接处理三维点云的问题，提出了基于映射的三维人脸属性识别算法。使用不同的映射方法，尽可能地保留三维人脸的整体形状与局部几何特征，设计了适用于三维人脸属性识别的轻量化卷积神经网络LFARN，并与经典网络VGGNet、ResNet、LightCNN比较。通过一系列实验发现，使用深度-法向量映射可以取得最好的性能，LFARN能在更小的参数规模和算力消耗下达到较高的性能。最后对三维人脸进行旋转、尺度缩放、添加高斯噪声等方法扩充数据集后训练模型，进一步提升模型性能，并增强模型对表情变化的鲁棒性与模型的泛化性，在性别识别与种族识别上取得了优于现有方法的性能。
参考文献（略）