第1章 绪论
1.1 研究背景及意义
随着如今科学技术的发展, 我们获取数据变得越来越容易. 高维数据变得越来越普遍, 如纷繁复杂的金融股票数据、图片和文档数据、生物特征数据等等, 有些数据的特征维度很高, 俗称“维数灾难”, 这种情况带来了数据处理的计算量迅速上升. 更现实的是, 以往我们拿到一批样本数据时, 总是假设它们是独立同分布的, 但是大规模的数据往往会具有一定程度的不均匀性, 数据要么是在不同的时间点 (范围) 记录的, 要么是来自于不同的数据来源. 由于这类数据的复杂性很高, 之前表现良好的统计方法与模型已经不怎么合适了.
近年来, 人工智能、机器学习在各个领域迅速兴起, 其中机器学习中大多数的方法都属于统计学. 统计学是人工智能的运算方法和机制, 是其理论支撑. 人工智能就是从解决统计学问题的逻辑出发, 对获得海量的数据进行统计处理, 然后通过对目标可能出现的结果进行排列组合和超级计算来逼近真实的结果. 一般来说, 统计研究者重点关注的是统计模型的发展与优化, 偏数学理论, 对于处理现实问题还需将其应用化.
统计学习的方法大多是根据观测到的数据构建一个统计学习模型然后对数据进行统计预测与分析, 其中统计学习一般由监督学习、半监督学习、无监督学习和强化学习等组成[1]. 监督学习方法一般用于解决分类、回归与标注等问题, 它学习的目标是根据训练样本学习一个从样本到样本标签值的映射函数并能够对没有被训练过的样本的标签值进行预测. 而无监督学习指的是训练数据集中的样本不包含任何标签信息, 在某些程度上会约束其效果, 只能够利用训练样本的数据分布或者说训练样本之间的关系把样本划分到不同的聚类簇中或者给出样本所对应的的低维数据结构.
在现实生活中获取充分的有标注信息的数据的需要很高的代价, 一般标注信息需要有一定经验的专家进行人为标注. 实际中我们接触到的数据一般为海量的无标注信息的数据与只有小部分有标注信息的数据, 这就需要一种能够根据少量标签值的样本数据与大量无标签样本来学习的算法, 这就是半监督学习. 半监督学习解决了标签值不足时监督学习算法泛化能力不强与缺少样本标签引导时无监督学习算法不准确的问题, 是这几年机器学习领域的研究热点, 常用应用场景有遥感图像分类和计算机视觉图像的显著性检验等等. 半监督分类算法一般分为四类: 半监督分类、半监督回归、半监督降维与半监督聚类.
..........................
1.2 半监督学习的研究现状
关于半监督学习的分类方式有很多种说法[2], 其中一种是半监督学习可以分为低密度分割法 (low-density separation methods)、基于图的方法 (graph-based methods)、基于分歧的方法 (disagreement methods) 以及生成式方法 (generative methods).
1.2.1 低密度分割法
低密度分割法指的是根据数据的类别分布找到一个穿过数据的低密度区域的分类边界来进行分类, 其中典型的代表就是半监督支持向量机 (Semi-Supervised SupportVector Machine, 简称S3VM). 由 Joachims T 提出的直推式支持向量机[3] (TSVM) 是半监督支持向量机中比较著名的一种算法, 在原始 SVM 基础上增加了松弛项估计无标签样本的标签值, 并引入了一个调节参数来控制有标签数据与无标签数据松弛因子在目标函数中的影响程度. 直推式支持向量机可以确保有标签样本分类的准确率, 再者它也对无标签样本到分类超平面的距离约束进行了加强. 除了 TSVM 外, 标签均值半监督支持向量机 (meanS3VM)[4]和 S4VM[5] 在半监督学习分类领域都表现很好.
基于分歧的方法要使用多个学习器, 根据各个学习器之间的差异性对模型进行训练. 协同训练 (co-training) 算法是这个方法的一个最重要的代表, 这个算法是由 Blum 与Mitchell[8]为解决网页分类问题而提出来的. 通过几个不同的属性集或者视图, 满足对不同属性集拥有相容性、相容互补性等假设条件下使用交叉验证的方法来训练不同的学习器. 在每个循环中, 每个学习器需要去选择其中预测确信度最高的无标签样本, 并将其预测的结果作为该样本的伪标签来训练另一个学习器. 这种方法可以通过学习器集成来得到很大提升[9,10]. 而周志华老师[51] 之后提出的 Co-Forest 算法缓解了原始协同训练计算未标注样本预测置信度效率低的问题, 采用集成的办法来代替协同训练中的学习器.在文中他还分别对训练集中的样本采用行方向的有放回采样和对特征属性集进行列方向无放回采样, 防止了各个分类器出现严重过拟合的情况并且增加了分类器的多样性.
.....................
第2章 预备知识
2.1 神经网络
GAN 模型都是基于神经网络特别是卷积神经网络进行梯度下降更新参数的, 所以我下面简单介绍一下神经网络.
我们一般直接把人工神经网络 (ANN) 直接称为神经网络 (NN), 它是一种模仿生物神经网络的结构与功能的数学或计算模型, 我们可以把它看做为一个具有强大拟合能力的复合函数. 神经网络可以提取输入数据的复杂特征, 有效地求解各种分类、回归等问题, 特别在处理高维复杂数据的问题中有着很大的优势. 学术界中常用的神经网络主要有前馈网络结构中的反向传播神经网络 (BP 神经网络)、循环神经网络 (RNN)、卷积神经网络 (CNN) 等, 其中我主要介绍最常用的 BP 神经网络与卷积神经网络.
...................................
2.2 分布间的几种度量
下文中为了比较两个分布之间的相似性提出了若干种度量方法.
GAN 的思想与博弈论中零和博弈类似, 在 GAN 模型中就是判别器选手和生成器选手为了胜过对方互相博弈的过程. 判别器的目标是能够正确判别输入的数据是真实数据还是由生成器生成的数据; 生成器的目标是通过学习真实数据的分布, 尽可能让判别器将生成的数据误判为真实数据. 反映到实际生成器和判别器就是两个神经网络, GAN 模型的基本架构见图 2.7.
..............................
第3 章 基于弱分类器的 W+GAN 半监督算法 ................................. 24
第4 章 实例实验 ....................................... 30
4.1 数据来源与预处理 ............................... 30
4.2 实验说明及结果 ..................................... 31
第5 章 总结与展望 ................................ 49
第4章 实例实验
4.1 数据来源与预处理
(1) MNIST 手写数字数据集
MNIST 手写数字数据集, 共 10 个类别 (数字 0、数字 1、数字 2、数字 3、数字 4、数字 5、数字 6、数字 7、数字 8、数字 9), 训练数据集样本量为 60000, 测试数据集样本量为 10000, 其中每一个样本都是 28 × 28 的灰度图片.关于训练数据的预处理, 我们对训练集使用归一化操作. 因为有标签样本很少, 我们在训练过程将对有标签数据进行数据扩充, 例如对训练数据集中有标签样本进行复制后添加到训练集中, 使得有标签数据量变为原来的两倍, 另外对于数据集中较难学的类别所属的样本再进行复制添加操作.
(2) Fashion_MNIST 数据集
Fashion_MNIST 时尚单品数据集与 MNIST 手写数字数据集大小、格式和训练集与测试集划分方式完全一致, 分为 10 个类 (T 恤、裤子、套衫、裙子、大衣、凉鞋、衬衫、运动鞋、包、踝靴), 60000/10000 的训练测试数据划分方式, 大小为 28 × 28 的灰度图片,但该数据集中的样本比 MNIST 手写数字数据集中的样本包含更复杂和多元的局部模式信息.
我们对时尚单品数据集的预处理方式与 MNIST 手写数字数据集类似, 同样使用和上一个数据集一样的归一化操作, 训练时同样对有标签数据进行数据扩充, 对于较难学习的数据类别数据扩充方式加倍.
............................
第5章 总结与展望
最近几年内, 半监督学习一直是机器学习领域的研究热点, 可用于解决众多跨学科问题. 本文针对半监督学习中的分类问题提出了一种半监督生成式对抗网络算法. 该算法首先使用少量的有标签数据训练弱分类器, 再利用弱分类器的预测结果来帮助生成式对抗网络模型中的判别器进行分类, 在模型训练充分后根据判别器的分类结果修正无标签数据的伪标签, 缓解了有标签数据不足带来的分类精度无法提升的问题. 我们算法下的模型在分类性能与图像生成质量上都有着较好的表现. 另一方面, 最终模型在测试集上的分类误差率整体水平明显比其他模型的结果更加低, 模型的半监督分类能力更加突出, 模型的稳定性也不是很差.
半监督分类研究的方向非常广泛, 本文主要研究的是基于图像数据的分类, 之后的研究可以把对象转到一些文本数据、序列数据或更加复杂的视频数据上. 本人在 GAN模型之前增加了一个弱分类器, 改动了传统半监督 GAN 模型的关于分布熵一类的损失函数, 但神经网络结构不是很复杂, 还有很大的提升空间. 后续研究中判别器可以使用ResNet、DenseNet NIN 等结构, 生成器可以使用一些类似于 U-Net 这类的网络结构, 同时将更稳健的正则化方法添加到网络中来深化网络使模型在相同的算法下收敛更快、泛化能力更强. 当然能够构建更加合适的损失函数能够大大提升 GAN 模型的分类性能.
参考文献（略）