1 绪论
1.1 研究背景与选题依据（Research Background Basic for Selected Topic）
1.1.1 研究背景
遥感，即遥远的感知，在广义上指不直接接触的情况下，对目标对象进行远距离定量探测的技术，狭义上指在航天或航空平台上，运用各种传感器（可见光、红外等）对地球进行探测，接受并记录电磁波信号，根据电磁波与地表物体的作用机理及对探测目标的电磁特性进行分析，进而获取物体特征性质及其变化的技术。遥感技术系统包括传感器技术、信息传输技术、信息处理提取和应用技术、目标信息特征的分析和测量技术等。传统的全色和多光谱影像含有较少的光谱波段，其光谱分辨率通常在 100nm 左右，而高光谱影像的波段数在几十个甚至数百上千个，其光谱分辨率一般为 10—20nm，有的甚至会达到2.5—5nm，因此高光谱能够获取地物在一定范围内连续的、精细的光谱曲线。光谱曲线能够反映不同物质间光谱特征和形态的差异，而不同物质间千差万别的光谱特征和形态是利用高光谱遥感技术实现地物精细探测的应用基础。
从1983 年由航空成像光谱仪（Airborne Imaging Spectrometer，AIS）获取的第一幅高光谱影像面世以来，出现了很多高光谱成像仪，如美国宇航局喷气推进实验室研制的可见光和红外成像光谱仪（Airborne Visible/Infrared Imaging Spectrometer）、高光谱数字成像仪（Hyperspectral Digital Imagery Collection Experiment）、反射光学成像仪（Reflective Optics System Imaging Spectrometer）、机载实时更新高光谱增强成像仪（Airborne Real-time Cueing Hyperspectral Enhanced Reconnaissance）、美国的 EO-1 卫星搭载的 Hyperion 成像仪、英国的简洁高分辨率成像仪（Compact High Resolution Imaging Spectrometer）、印度的HySI 成像仪、美国的先进高效的军事战术反应成像光谱（Advanced Responsive Tactically Effective Military Imaging Spectrometer）、在建造的有南非的多传感器微卫星成像仪（Multi-Sensor Microsatellite Imager）、德国环境制图项目的高光谱成像仪等。以上高光谱传感器能够获取的高光谱影像光谱范围在0.4-2.5 ?m ,包含 115-512 个波段，机载传感器获取的影像空间分辨率在 0.75-20米之间，星载传感器获取的影像空间分辨率在 5-506 米之间。我国对高光谱成像仪研制也取得了一定的进展，如利用 224 波段扫帚式高光谱成像仪 PHI 与 128波段机载成像光谱仪 OMIS进行多次航空试验，获取的遥感影像应用于精细农业等领域。现在在轨运用的有 HJ-1A 卫星装载的超光谱成像仪、天空一号的成像光谱仪和嫦娥一号或二号的成像光谱仪，HJ-1A卫星装载的超光谱成像仪能够获取110-128 个光谱波段，光谱分辨率为 10nm，空间分辨率为100m。各种新型高光谱传感器应运而生，使高光谱技术得到快速发展并广泛应用于精细农业、矿物识别、环境管理与探测等领域。
1.2 选题依据
近年来快速发展并得到广泛应用的集成学习分类系统通过集成多分类器结果，能够显著提高模式分类和目标识别精度，已在不同领域得到广泛应用，成为机器学习领域的研究热点。集成学习主要是对分类器集合中的成员分类器进行选择与组合，获得比最好成员分类器还要高的分类精度。
集成学习作为最新的模式识别和机器学习领域的一个新的研究热点，能够综合不同分类器的优势，能够有效的解决单一遥感影像信息方法的局限性，已广泛应用于混合像元分解、植被检测、变化检测等领域。传统遥感影像分类方法应用于高光谱影像分类中，运算速度慢，分类精度低，推广性差，而且还会出现严重的维数灾难现象。集成学习在高光谱遥感影像分类中具有明显的优势，能够有效的解决传统方法带来的困难。本文正是基于这一点将集成学习应用到高光谱遥感影像分类中，用于改善遥感影像分类质量，进一步优化分类效果。总体看来，国内对集成学习利用于高光谱遥感影像分类还处在起步阶段。
论文选题结合国家自然科学基金“高光谱遥感影像自适应多分类器集成关键技术研究（编号40871195）”和江苏省“333工程”科研项目资助计划“徐州市城市扩展与生态环境响应的多目标遥感综合研究（编号2009-32）”，旨在对高光谱遥感影像分类中引入集成学习思想，以期能够提高高光谱遥感影像分类精度。
2 基于集成学习的高光谱影像分类理论与策略
对于分类问题而言，集成学习的主要思想是将若干个单分类器的分类结果以某种方式集成起来，以期望取得比单个分类器更好的性能。假设定义 为样本点x的单个分类器，集成学习可以表示为：
此外，集成学习也可被称为多分类器系统（multiple classifier system）、决策级融合（decision fusion）、多分类器委员会（multiple classifier committee）、多分类器组合（multiple classifier combination）、分类器融合（classifier fusion）等。
Dietterich 从统计学角度、计算角度和表示角度分析了集成学习的有效性，具体如下：
1）从统计学角度出发，一个学习算法可以看作是在一个假设空间中寻找一个最好的假设。当缺少足够的训练数据时，学习结果可能只是满足于训练集的假设，这些假设往往在实际应用问题中表现较差。通过集成学习将多个假设联合起来能够降低各个假设和目标假设之间的误差，从而提高分类性能。
2）从计算角度出发，许多分类算法通过局部搜索来获取分类结果，如神经网络通过梯度下降使训练样本集的误差达到最小，决策树则利用贪心算法构造决策树，但上述两种分类算法容易陷入局部极小值。即使以上算法有足够多的训练样本集，但仍然很难找到假设空间的最佳解。集成学习通过对不同的出发点进行局部搜索，相比于单个分类算法，可以更好的逼近未知函数。
3）从表示角度出发，在机器学习的大多数应用中，在假设空间中假设目标往往不存在，通过对假设空间得出的结果进行合成，可能需要要扩展假设目标空间，即增强泛化能力。例如，给于有限的训练样本集，神经网络和决策树算法往往只能搜索到有限的假设空间，当找到一种假设适合训练样本集时就会停止搜索。
2.1 集成学习理论基础（Theoretical Basis of Ensemble learning）
集成学习的关键是对其理论基础的理解和应用，本文从弱可再学习、no free lunch 等方面来对集成学习的理论基础进行阐述。
2.1.1 弱可再学习理论
在机器学习领域，概率近似正确学习模型（Probably Approximately Correct，PAC）是指学习算法不需要完全正确的对未知对象进行学习，只需要在一定误差内，从概率的意义上对未知对象进行近似正确学习即可。如果存在某种算法来学习一个问题，且学习正确率很高，那么这个算法就是强学习的；如果正确率仅比随机猜测略好，那么这个算法就是弱学习的[145]。Kearns 和 Valiant 提出了弱学习算法与强学习算法的等效性，意味着不必直接去找实际情况下很难获得的强学习算法，只需找到一个比随机猜测算法略好的弱学习算法，即可通过相关途径将其转化为强学习算法。
通过集成学习，可以找到一种有效途径将弱学习算法转化为强学习算法，获得更好的泛化能力。Bagging利用随机有放回的选择训练样本，通过不同分布的样本来学习弱分类器，经过融合转化为强分类器，从而提高分类性能。Schapire在 1990 年构造出一种提升（Boosting）算法，对弱分类器是否转化为强分类器进行了论证。与此同时，Freund 提出了一种更有效的投票 Boosting算法。但是以上两种算法都要求知道弱学习算法学习正确的下限，大大制约了其在实际情况中的运用。为了能够解决这一难题，Freund 和 Schapire 提出了 AdaBoost (Adaptive Boosting) 算法，该算法效率与[67]中算法相当，但不需要弱学习算法的先验知识。此外，Freund 和 Schapire 通过改变 Boosting 投票的权重，进一步提出了 AdaBoost.M1, AdaBoost.M2 等算法。Boosting的常用算法还有AdaBoost.MH [148]，Linear Programming Boosting (LPBoost) ，BrownBoost 等。
2.2 基于集成学习的高光谱影像分类策略（Hyperspectral Image Classification Strategy based on Ensemble learning）
集成学习系统一般具有两大部分，首先构造不同的基分类器，其次是运用相关策略对这些分类器生成的结果进行集成。经过上述的分析，一个有效的集成系统不仅包括精度较高的分类器，而且这些分类器的差异要尽可能的大。图 2.1 给出了集成系统的整体构造过程，在分类的各个阶段（样本——特征——分类器）运用不同的算法来构造不同的基分类器。
根据遥感影像的分类流程，利用于高光谱遥感影像的集成学习分类系统可通过多种方式构造，主要可分为以下几大类（如图2-1）：
1）基于不同训练样本的构造方式。主要是基于相同的训练集采用不同的抽样技术得到分类器的不同输入训练样本，继而得到对相同分类器不同角度的表示，组合这些分类器，得到一个集成学习系统。最著名的基于不同训练样本构造算法的是Bagging和Boosting，前者对训练样本进行随机有放回重采样，各轮训练样本集相互独立；后者通过重赋权重来代替重采样[基于 Bagging的高光谱分类流程见图2-2。
3 基于旋转森林的高光谱影像分类 .................. 22
3.1 引言............ 22
3.2 RoF 用于高光谱影像分类的基本原理和方法............... 23
3.3 RoF 中的特征提取算法............... 24
4 基于监督/半监督特征提取与集成学习的分类................. 40
4.1 引言................ 40
4.2 高光谱遥感影像特征提取算法概述................... 40
5 光谱-空间特征集成的高光谱影像分类 .......................... 69
5.1 图像分割 .............. 69
5.2 马尔科夫随机场模型 .................. 75
6 高光谱影像集成学习分类系统
6.1 研制背景与目的（Developing Background and Purpose）
随着高光谱遥感影像在城市土地覆盖/利用分类、森林植被监测、城市不透水面层检测以及城市污染检测等方面的广泛应用，影像分类作为其中最有效的检测手段之一，通过对高光谱遥感影像分类，可以直接获取用户所需的土地覆盖/利用类型等专题信息，利用这些专题信息进行人类社会及相关自然演变规律有着重要的指导作用。集成学习作为最为最近高光谱遥感影像分类的研究重点，通过集成学习综合各种方法的优点，能够有效地快速的获取用户所需信息，从而能够广泛而快速应用城市不透水面层分析、变化检测等领域。
目前专业处理遥感影像的分析软件有 ENVI、ERDAS，PCI 等，都没有相关的集成学习系统或者具有集成学习模块，在实际运用或操作中，往往需要结合多个软件进行综合运用，其中涉及到大量的重复性工作，大大增加了工作时间。
因此，根据高光谱遥感影像的特点，本文利用开发了系统的、自动化、流程化的高光谱遥感影像集成系统，以期能够通过此系统提高实际工作效率和推广集成学习在高光谱影像中的作用，通过实践证明，此系统也可运用于其他遥感影像，如多光谱影像，Radar 影像等。
7 结论与展望
7.1 结论（Conclusions）
高光谱遥感影像由于能够提供地物完整的光谱信息，而利用这些完整的光谱信息能够提高探测目标的能力，因此在农业规划、矿物识别以及地质灾害等领域越来越受到重视。传统的遥感影像分析算法往往不能够满足高光谱影像处理的需求，因此需要研究新的理论和方法来提高高光谱遥感信息处理水平。随着机器学习技术的发展，单一的学习算法已经不能够满足实际的需要。集成学习是利用多个学习机来解决同一问题的学习范式，由于能够显著提高学习系统的泛化能力，从上个世纪 90 年代，集成学习的理论和算法研究已经称为机器学习界广泛研究的热点问题之一，已经被成功应用在语音识别、图像处理等领域。
经过研究人员的不懈努力，集成学习在近年来取得丰富的成果，但是其在高光谱遥感影像分类领域的研究和应用还比较少，还远未达到人们所期待的水平。集成学习中两个最关键的问题是构建基分类算法和合并策略。如何构建多个基分类器，使基分类器的准确性和差异性达到一个很好的折中；在训练出基分类结果时，如何有效的通过合并策略集成这些分类结果，以便能够更好的提高分类性能，有待进一步研究。
本文在对集成学习中的相关算法进行了较为深入的研究的基础上，简要介绍了集成学习的理论基础和最新研究成果，分析了集成学习应用于高光谱遥感影像分类中的框架，本文主要研究工作包括以下几个方面：
1）将旋转森林应用于高光谱遥感影像分类，并在此基础上，运用了不同特征提取算法提出了基于独立主成分分析、最大噪声分离和局部线性判别分析的Rotation Forest，以 Indian Pine AVIRIS、University of Pavia ROSIS 和 Pavia Center DAIS 数据为例，性能优于其他集成学习算法 Bagging、AdaBoost 和 Random Forest。提出的基于独立主成分分析、最大噪声分离和局部线性判别分析的Rotation Forest 与原始 Rotation Forest 精度相当，并且在类别精度上能够与原始Rotation Forest 产生互补。
2）将半监督/监督概率主成分分析用于高光谱遥感影像分类特征提取，运用Indian Pines AVIRIS、University of Pavia ROSIS 和 Pavia Center ROSIS 高光谱数据，从不同数据、不同数量的标记样本和未标记样本、计算复杂度等方面分析半监督/监督概率主成分分析与其他特征提取算法进行比较，试验结果证明半监督/监督概率主成分析提取出来的分类特征能够得到高精度分类结果。
3）提出了基于监督/半监督特征提取的集成分类策略，通过半监督概率主成分分析、监督概率主成分分析、无参数加权特征提取）三种监督/半监督特征提取算法，构建并行集成和串行集成算法，能够有效提高高光谱遥感影像分类精度。
4）提出集成半监督特征提取的分类和基于图像分割、马尔科夫模型的分类模型，基于图像分割的分类模型分别选择基于聚类的分割、分水岭分割和Mean-shift 分割。其中聚类算法选择 K-means、ISODATA、Fuzzy K-means、Kernel K-means；分水岭分割通过四种不同方式构造梯度图像。马尔科夫模型集成分类模型，通过最小化局部能量函数，采用模拟退火算法，能够有效的使邻近像元聚集。通过集成光谱和空间的分类图像，高光谱遥感影像分类精度得到显著改善，并且能够降低遥感影像分类噪声。
5）研发了高光谱遥感影像集成学习分类系统，该系统包含遥感影像基本处理、分类、聚类、分割、集成空间—光谱分类和集成学习等功能，以城市不透水面层提取分析为例，说明该系统在实际高光谱遥感信息处理的优势。
参考文献（略）