第一章 绪论
1.1 课题研究背景及意义
人脸识别方法是模式识别和机器学习的重要研究课题，是近二十年来一个热门的研究方向[10]-[16]。其中特征提取是人脸识别方法中最为关键的一步，提取到的特征好坏直接影响到分类决策的优劣。特征提取的方法主要分为线性鉴别分析和非线性鉴别分析两大类。人脸识别的流程一般可划分为四个步骤：图像采集；预处理；特征提取；分类决策。图 1.1 显示了人脸识别系统框图。
1.1.1 线性特征
提取方法线性鉴别方法中，主成分分析（Principal Component Analysis，PCA）方法[17]旨在寻求一组投影方向，使得训练样本在这组方向上投影后的总体散度最大。但是 PCA 方法没有考虑到样本的类别信息，所以识别性能不是太好。线性鉴别分析(Linear Discriminant Analysis，LDA)方法[18]考虑了样本的类别信息，LDA 方法为了寻找一个投影方向，使原始样本投影后，同类样本尽可能聚集，异类样本尽可能分开。Liu[19]重新定义 Fisher 准则，用总体散布矩阵代替类间散布矩阵，修改后的准则和 Fisher 是等价的。LDA 方法的弊端在于，它需要对类内散布矩阵作求逆运算，但是类内散布矩阵通常不可逆。针对这个问题，通常有四种方法来解决：第一种是 Friedman 提出的正则鉴别分析(Regularized Discriminant Analysis，RDA)[20]方法，通过对类内散布矩阵加上一个正则项，确保其可逆性；第二种是 Bellhumer 等人提出的Fisherface，该方法分两阶段处理问题，首先使用 PCA 对训练样本降维，构造新的类间散布矩阵和类内散布矩阵，保证低维空间中的类间散布矩阵是可逆的，然后使用 Fisher 准则求解鉴别向量；第三种是 Hastie 提出的一种惩罚的线性鉴别分析(Penalized LDA，PLDA)[21]，PLDA用一个半正定对称矩阵来惩罚类间散布矩阵，确保其可逆性，这种方法比 RDA 的效果要好。第四种方法是 Howland 提出 LDA/GSVD[22]算法，该方法通过广义奇异值分解(GeneralizedSingular Value Decomposition)求解最优鉴别向量。Foley 和 Sammonz 在 Fisher 准则的基础上提出了 Foley-Sammon 鉴别分析(FSODV)方法[23]，FSODV 用一组满足正交条件的最佳鉴别向量集,迭代求解鉴别向量，使得鉴别向量更具有鉴别性。基于 Fisher 准则，Jin 等提出了统计不相关的最佳判别矢量集（UODV）方法[24]。UODV 用一种迭代算法逐个求解最优鉴别向量，使得每个鉴别特征之间满足统计不相关性，而 Foley-Sammon 鉴别分析方法虽然使得鉴别向量正交，但由此得到的最佳鉴别特征却是统计相关的，还存在一定的冗余信息。Yang 等[25]分析了统计不相关的鉴别向量的优势，通过实验和理论证明了 UODV 得到统计不相关的鉴别向量比 F-S 鉴别分析得到的鉴别向量有更强的鉴别能量。Jing 等推广了 UODV 的理论，并提出了一种改进的 UODV 方法[26]。
子空间方法对二维图像样本进行特征提取，一般首先要将二维图像样本进行列向量化（或行向量化），变成一个高维样本空间中的点，然后再提取有效的鉴别特征。但是，这种做法必然会打破原始图像象素间的结构等信息。以此为动机，Yang 等提出了二维 PCA（2DPCA）方法[27]，无需对每个样本做列向量化处理，直接计算总体散布矩阵，然后再提取鉴别特征。由于 2DPCA 方法计算散布矩阵用二维矩阵的方法，不仅速度快，而且效果佳，引起了专家学者们对二维鉴别分析的研究。Li 等在二维鉴别的启发下，提出了二维 LDA(2DLDA)方法[28]，无需对样本列向量处理，直接计算类间散布矩阵和类内散布矩阵，在 Fisher 准则的基础下求解最佳投影向量。2DLDA 克服了小样本问题，大大的提高了提取投影向量的速度，是二维鉴别分析的代表性方法。
第二章 相关基础知识
2.1 线性特征提取技术
特征提取和选择是模式识别系统中最重要的一个环节，特征提取的优劣直接影响到模式识别的识别效果的好坏。如何从原始输入数据中提取出最为有效的特征，达到既降低原始数据维数又能提高分类性能的目的，是人脸识别系统的重要工作之一。本节将介绍几种代表性的线性特征提取技术，分别是主成分分析方法(PCA)、线性鉴别分析方法(LDA)、二维主成分分析方法(2DPCA)、二维线性鉴别分析方法(2DLDA)、F-S 线性变换方法(FSODV)和统计不相关鉴别变换方法(UODV)。
2.1.1 主成分分析
主分量分析方法(PCA)的本质是利用了像素之间的统计相关性，是一种典型的子空间方法。PCA 即 K-L 变化，目标是得到一组单位正交的投影向量，原始样本在这组向量的投影下散度最大化。这组投影向量之间互相正交，投影后不仅能消除原始样本的相关性，还能在信息损失最少的基础上起到降低原始样本的维数的作用。核函数理论最早出现要追溯到 1909 年，在泛函分析中 Mercer 提出了再生核理论和再生核 Hilbert 空间研究方法。1950 年 Aronszajn 等对再生核理论又进行了完善。而后到 1964 年核函数开始应用，当时 Aizerman 等在研究势函数的时候将其应用到机器学习领域，并对收敛性进行证明。该方法大大的提高了学习的效果，推动了核理论的发展和机器学习的研究。Vapnik 在 1992 年的时候将势函数扩展到了支持向量机。高维空间中的内积也就是核函数的本质，它对应于投影后的高维空间特征映射。另外，此前大量的核方法都基于单核学习的，所谓单核学习就是在研究过程中只使用了一个核函数。近年来，随着人们对核方法的不断的深入研究，Sonnenburg 等人提出了多核学习[52]的概念，即通过多个核函数加权得到核矩阵。多核学习对比单核学习有两个优点：一时多核学习能够提高了识别的效果；二是多核学习在多数据源使用不同核函数，鲁棒性更强。目前，核函数方法已经应用到了人脸识别、机器学习、矿藏探测、信号识别、经济数据分析及预测等领域。人脸图像通常是高维的，往往呈现出线性不可分的情形，用线性的方法是很难解决的，此时就要用到非线性特征提取的方法。非线性特征提取方法旨在将原始样本空间投影到高维空间中，使得原始不可分的样本在高维的特征空间中变得线性可分，我们称这种基于核的鉴别分析方法为一种非线性方法。图 2.1 显示了两类样本在输入空间中呈现出线性不可分，但是当映射到高维特征空间之后，呈现出线性可分的分布。
第三章 基于局部和全局加权的统计.... 19
3.1 基于局部统计不相关的鉴别变换 .... 19
3.2 基于加权的全局统计不相关的鉴别变换..... 22
3.3 实验和分析 ..... 23
3.3.1 实验数据库 ..... 23
3.3.2 参数设定 ......... 24
3.3.3 实验结果和分析 ......... 25
3.4 本章小结 ......... 27
第四章 基于局部和全局加权统计...... 28
4.1 局部和全局加权核统计不相关鉴别变换..... 28
4.2 基于局部和全局加权的二维统计不相关........ 31
4.3 实验和分析 ..... 35
4.3.1 实验数据库 ..... 35
4.3.2 参数设定 ......... 35
4.3.3 实验结果和分析 ......... 35
4.4 本章小结 ........ 40
第五章 基于局部和全局加权统计不相关方法.... 41
5.1 基于局部统计不相关方法的多任务学习..... 41
5.2 基于全局加权统计不相关方法......... 44
5.3 实验和分析 ..... 46
5.4 本章小结 ......... 51
结论
传统的统计方法用所有的样本均值来估计期望，计算出样本的协方差矩阵。通常样本的分布是不理想的，不满足高斯分布，这样的估计方法对少量的数据而言就会出现大的偏差。本文提出了一种基于局部和全局加权的均值方法来克服这个缺点，以更好的去除鉴别特征的冗余为宗旨，提出了一种局部和全局加权的统计不相关鉴别变换方法。在局部和全局加权统计不相关的基础上，考虑到人脸图像样本线性不可分的情况，我们提出了局部和全局加权的核统计不相关鉴别变换。该方法有效地使得子类之间易于区分，得到了很好的识别效果。传统 UODV 方法用 PCA 降维，解决奇异性问题，却遗失了部分的有用信息。在局部和全局加权统计不相关的基础上，我们还提出了局部和全局加权的统计不相关二维鉴别变换。该方法不仅有效的提取了鉴别特征，还节省了训练的时间。实验结果上也优于 LUDT 方法和WGUDT 方法。当样本信息较少的时候，传统的特征提取方法的效果较差。我们可以利用其它数据库中的有用信息，分别对多个数据集进行特征提取，互相利用多个数据集之间的相似的知识和数据，这样就提高了识别率。本文用局部统计不相关方法求解出鉴别变换，基于这个变换求解出其它数据库的鉴别变换，让它们满足正交性约束。实验结果证明了本文提出的基于 LUDT和 WGUDT 算法的多任务学习对识别性能有一定的帮助。
参考文献
[1] 边肇棋等. 模式识别（第二版）[M]. 清华大学出版社, 2000.7.
[2] Daugnran J. How Iris Recognition Works [C]. IEEE http://sblunwen.com/tjzylw/ International Conference on Image Processing, 2002,14(l): 33-36.
[3] Harmon L D. Machine Identification of Human Faces [J]. Pattern Recognition, 1981, 13(2): 97-110.
[4] Baron R J. Mechanisms of Human Facial Recognition. International Journal of Man-Machine Studies [J].1981, 15(2): 137-178.
[5] Rabiner L R, Jung B H. Fundamental of Speech Recognition [M]. Pretice Hall,1993.
[6] Niyogi S, Adelson E. Analyzing and Recognizing Walking Figures in XYT [C]. IEEE Computer SocietyConference on Computer Vision and Pattern Recognition, 1994: 469-474.
[7] Zhang D, et al. Online palmprint identification ,IEEE Transactions on Pattern Analysis and MachineIntelligence, 2003, 25(9): 1041-1050
[8] Han Y F, Sun Z N, Wang F, and Tan T N. Palmprint recognition under unconstrained scenes [C]. InProceedings of Asian Conference on Computer Vision, 2007: 1-11.
[9] Zhang L, Zhang L, and Zhang D. Finger-knuckle-print: a new biometric identifier[C], Proceedings of theIEEE International Conference on Images and Patterns, 2009: 1981-1984.
[10]Chellappa R, Wilson C L, and Sirohey S. Human and machine recognition of faces: A survey [J].Proceedings of the IEEE, 1995, 83(5): 705-740.