基于深度森林的图像超分辨率复原算法研究

1.2 国内外研究现状
20 世纪 60 年代 Banham 等人最早提出超分辨率的概念[1],目的是为了提高卫星图像的分辨率，便于研究应用。不久之后 Harris[2]和 Goodman[3]等人受单帧图像复原原理的启发，提出图像超分辨率重建思想。但由于算法只局限把单幅图像作为输入，复原后的图像分辨率提高有限，且难以在实际生活中进行应用。1984 年 Tsai 和 Huang[4]提出最早的基于序列图像的超分辨率重建问题。并根据序列图像之间存在的相关性，每张图像所包含近似但不一致信息的原理。实现了多帧低分辨率图像的复原。因为在一组连续的图像序列中，通过提取每帧低分辨率图像的自身特点和整个序列图像的关联进行信息互补，复原出的图像比基于单帧图像复原的效果更好。

在早期，图像的超分辨率复原技术是通过在低分辨率图像像素的领域范围，进行相应的灰度值计算，通过插值算法扩大像素点。实现图像的超分辨率复原。主要有最近邻插值算法，双线性插值算法和双立方插值等算法[5,6,7]。这些基于插值的图像复原算法虽在一定程度上提高了图像的分辨率，复杂度低，但重建出来的图像模糊度高，锯齿感明显[8]需亟待改进。1988 年 Keren 等人[9]提出基于迭代反投影的图像超分辨率复原算法。通过计算高分辨率图像估计值与其进行投影获得的低分辨率估计值之间的误差，设定阈值指导低分辨率图像复原。但对于异常点的出现却无法解决，且算法鲁棒性低。2001 年 Zomet 等人[10]通过对基于迭代投影算法的研究，提出对误差值计算的算法改进。解决异常点无法计算的问题，增强了算法的鲁棒性。2010 年 Hunt 等人[11]在理论上证实了图像超分辨率重建技术的可行性，并验证了多种实用性强的超分辨率复原算法。表明超分辨率复原技术已进入成熟阶段。
插值方法之后，图像的超分辨率技术是先从频域法开始研究。1990 年 Kim 等人[12]提出基于加权最小二乘理论的图像超分辨率复原方法。通过保持低分辨率图像的模糊和噪声特征的一致性，将频域理论应用到有模糊和噪声的图像。复原出了高分辨率图像。但需要在理想的条件下进行，实用性不强。1997 年 Patti 等人[13]最早基于空域理论提出凸集投影算法(POCS)，用凸约束集合描述图像的特性。迭代运算找到 POCS 的解空间交集，指导低分辨率图像复原。提高了复原效率，但未解决因噪声和模糊引起的退化现象。Elad 和 Feuer等人[14]结合 POCS 算法与最大可能性/最大后验概率算法，解决了图像噪声和模糊等因素的影响，优化了凸集算法。1998 年 Schultz 等人[15]提出最大后验概率算法。
.............................

第二章 图像复原的基本理论

2.1 引言
图像成像，传输，压缩等过程都会引起图像的退化。在成像时，图像会受成像设备精度，人为或天气等外在因素的影响导致图像质量下降。在传输过程中会受带宽的影响，因不能完全传输全部细节信息，而导致图像的失真。在压缩解压时，会因破坏图像的内在结构而导致图像质量下降。这些外在或内在因素导致图像质量下降变成低分辨率图像，在现实生活和科学研究中需要的是高分辨率图像，低分辨率图像已经不能满足要求。因而提高图像分辨率，对低分辨率图像进行复原的技术研究就显得尤为重要。
经过科研工作者们的研究和技术发展，图像的超分辨率复原技术从单帧图像复原发展到多帧图像的复原，从基于重建的复原方法到基于学习训练的复原算法不断在优化。学习的复原方法与重建的复原方法相比较，在于能够获取更多的图像细节信息。学习的复原方法是通过大量的特征训练学习低分辨率与高分辨图像之间的映射关系，并建立模型。本文提出的基于深度森林单帧图像超分辨率复原算法，就是基于此原理，不同之处在于通过使用深度森林的级联模型不断的提高复原图像的分辨率。
对于多帧图像超分辨率复原，基于学习的多帧图像超分辨率复原算法由于不能具体有针对性的对因抖动或光照等因素产生的序列图像间的位移进行精确配准。复原出来的图像有待进一步提高。就此本文提出采用分部策略来实现多帧图像的超分辨率复原，先根据造成序列帧位移的原因设计出相对应的配准算法，进行图像空间位置对齐。再单独对每帧图像进行复原，最后把复原出的每帧图像进行融合。多帧序列图像中各帧图像因抖动产生的位移，导致相同的位置有不同的像素，影响图像的复原质量。因而需要图像配准算法预先处理待复原图像帧，有助于提高图像的复原质量。图像配准算法就是通过计算运动估计偏移量使待复原图像的空间位置进行对齐。图像的融合算法是指对存在差异的多帧图像提取其关键信息融合到一帧图像当中。不管是单帧图像复原算法还是多帧图像复原算法都需要用一定的评价方法对复原后的图像进行评价。以验证其可行性，实用性和价值性。
..........................

2.2 图像复原模型的基本理论
2.2.1 重建复原算法模型的基本原理
根据图像超分辨率算法对实际生活的应用性和科学研究的价值性，把主流的超分辨率算法分为基于重建的复原算法和基于学习的复原算法。这节将详细阐述基于重建复原算法的基本原理和复原理论。在进行图像复原之前，一般都是先使用退化模型对高分辨率进行下采样，加噪声，加模糊等方式变成对应的低分辨率图像。再通过使用超分辨率复原技术对低分辨率图像进行上采样，去噪声去模糊等方法恢复成高分辨率图像。图像的超分辨率复原技术其实就是一个病态问题，因为输入图像的轻微改变都会导致复原出来的图像有极大的差距。基于重建的复原算法，就是通过对高分辨率图像变为低分辨率图像这一过程进行观测，建立一个观测模型。再对建立的观测模进行逆求解这样一个过程。不管是进行单帧图像复原还是多帧图像复原都是基于求解观测模型这一原理。
单帧图像复原，从本质上讲就是把图像上的信息内容进行放大，把更多的细节信息显示出来。研究者们最早是通过各种插值方法进行图像超分辨率复原。插值复原时间少，但不能解决因噪声，下采样等因素造成的低分辨率图像。且单帧图像本身含有信息有限。之后学者们通过研究小波分析理论，根据小波变换的非平稳信号处理的优势，对单帧图像进行超分辨率复原。但纹理区边缘的相似性就不够了。基于学习的复原算法有效的解决了这一问题。
多帧图像复原，一般采用同一场景的序列图像作为信息源。同一场景的图像相互之间存在一定相关性，有着近似相同的信息。这样不但序列图像的整体信息，每帧图像自身信息也可以充分提取用于图像复原。但序列图像之间也存在亚像素精度上的空间位移。在进行多帧图像复原之前，得先用配准算法对齐亚像素精度，计算待复原图像之间的运动偏移量。再把运动偏移参数加入到观测的模型当中。进行逆问题求解，重建高分辨率图像。下面图 2.1 是图像超分辨率重建技术的模型求解过程图。

........................
第三章 基于深度森林的单帧图像的超分辨率复原.............................15

图像的超分辨率复原有十分重要的研究价值和巨大的潜力，本文对传统的图像超分辨率算法做出了深入分析和对比，首先介绍了图像超分辨率问题的来源和现实背景，列举了国内外对这个问题的研究现状，然后详细了解了与超分辨率相关的基础知识和数学理论。传统的图像超分辨率算法归结为基于重建的和基于学习的超分辨率方法，对其中一些比较经典的算法做了着重介绍并分析各自的优缺点，对现阶段最热门也最新颖的算法基于深度森林的图像超分辨率复原算法做了大量的研究和探讨。实现了两种基于深度森林的超分辨率方法，具体如下：
得到了以下几点成果：