本文是一篇工程硕士论文，本文通过模拟人类视觉系统，并且结合深度学习技术，针对目前盲图像质量评价方法中存在的问题进行了分析与总结，提出了两个全新的盲图像质量评价方法。
第一章 绪论
1.1 研究背景与意义
随着电子信息技术和智能化设备的发展与普及，多媒体数字图像作为信息传递的载体在人们的生活中扮演着越来越重要的作用，并且在医疗健康、教育生活、气象预测等方面得到了广泛的应用。在医疗领域中，医生专家们可以通过各种医学设备采集的影像信息查看患者的器官病灶，从而有效分析不同病人的患病情况。因此，获取到的医疗影像信息的质量在很大程度上将影响医生专家们对患者情况的有效判断。在教育领域中，线上课程的开展需要依靠图像流的实时传输，图像流的质量效果与传输效果会影响老师与学生们的授课体验。在气象预测领域中，气象专家会对卫星拍摄的气象图像进行分析预测，传输图像的质量会影响专家们对于气象的预测效果。然而，图像在面临传输、压缩、存储等过程中，都有可能遭受不同程度失真的影响，从而导致图像质量的下降，影响了最终的图像观察质量。此外，对于图像获取的源头设备，也可能因为设备性能的不足或者拍摄环境的影响而导致图像质量的下降，例如：图像中可能会因为相机抖动而不可避免地出现运动模糊、伪影等失真现象。
根据图像接收者的不同，图像质量评价方法可以分为两种：主观图像质量评价方法（Subjective Image Quality Assessment）和客观图像质量评价方法（Objective Image Quality Assessment）。主观图像质量评价方法的主体接收对象是人，其依靠人类视觉系统（Human Visual System, HVS）对图像进行主观性打分，分值按照平均意见分数（Mean Opinion Score, MOS）或者差异平均意见分数（Differential Mean Opinion Score, DMOS）来表示。由于图像的目标接收对象是人类，因此主观图像质量评价方法是最准确、可靠的。但是，人类对于接收图像的打分往往还会受到主观因素以及环境状态的影响。例如：打分情况会受到人的教育背景、个人喜好、精神状态、疲劳程度等因素的影响，从而导致图像的分数受到个体差异性的影响。此外，依靠人类对于每张图像进行打分会耗费大量的物力财力，在面对成千上万张图像的实际应用场景就会变得不切实际、效率低下。因此，就需要设计开发一种计算机算法来自动对图像的质量进行预测。客观图像质量评价方法就是一种不依赖于人眼对图像进行打分的方法，其通过建立一个算法模型来自动计算图像的质量分数，以实现通过高效的预测准确度来替代主观图像质量评价方法。
......................................
1.2 国内外研究现状
近年来，国内外的研究学者针对图像质量评价问题已经做出了相关的研究。在本节中，将对图像质量评价方法的国内外研究现状进行总览性的回顾与讨论。接下来将围绕常用的全参考图像质量评价方法和盲图像质量评价方法进行介绍。
1.2.1 全参考图像质量评价方法
全参考图像质量评价方法利用参考图像和失真图像之间的差异性来计算图像质量分数，其优秀的预测准确性来自于计算过程中参考信息的辅助。在很多计算机视觉领域，例如：图像增强、图像去噪等，都使用全参考图像质量评价方法来衡量模型的预测准确性。传统的全参考图像质量评价方法包括均方误差（Mean Square Error, MSE）、峰值信噪比（Peak Signal to Noise Ratio, PSNR）、结构相似度（Structure Similarity Index Measure, SSIM）等。虽然该类方法面对普通的失真图像可以取得优秀的预测准确性，但是依然不能准确预测生成式对抗网络生成的图像质量[9]-[11]。
随着深度学习的发展，研究者们开始将卷积神经网络应用于全参考图像质量评价领域，试图通过卷积神经网络（Convolutional Neural Network, CNN）强大的提取能力进一步提升质量评价的准确性。为了有效提取失真图像和参考图像之间的相似特征，Bosse等人[12]提出了一个基于孪生神经网络（Siamese network）的全参考图像质量评价方法。该方法通过一个包含十个卷积层的孪生神经网络来提取相似特征，接着使用全连接层将提取的特征回归成质量分数。Guo等人[13]提出了一种双分支多尺度图像质量评价方法，该方法首先通过一个孪生神经网络从失真图像和参考图像中提取相似特征，接着使用两个图像金字塔网络分别提取多级特征后进行特征融合，旨在从多级特征的角度反映图像的质量分数。由于Transformer结构[14]-[16]在计算机视觉领域取得了优异的性能，Cheon等人[17]提出了一个基于Transformer的全参考图像质量评价方法。首先，该方法使用基于卷积神经网络的主干网络从失真图像和参考图像中提取感知特征，接着将提取的特征送入Transformer的编码器和解码器中以计算两者的差异性。为了应对失真图像的空间错位问题，Shi等人[18]提出了一个面向参考图像的可变形卷积神经网络。该方法通过提出的基于块级别的注意力模块来增强不同块区域之间的交互，并且提出了一种面向参考图像的可变形卷积来自适应地调整卷积核的结构。
..................................
第二章 图像质量评价相关理论知识概述
2.1 人类视觉系统
由于图像最终是由人类来进行质量感知的，所以图像质量评价方法的预测分数应该尽可能与人类的感知相一致，这就需要对人类视觉系统进行初步了解。人类视觉系统是目前世界上最优秀的图像感知系统，其对于物体识别、图像质量感知等任务都可以达到顶级的性能，所以目前的计算机视觉算法都尽可能通过模拟人类视觉系统来作为提升预测准确性的切入点[52]。人类视觉系统对于图像信息的处理是一个非常复杂的过程，首先光线穿过瞳孔在视网膜形成影像，接着视网膜将视觉信号传输给大脑皮层的视觉中枢进行数据处理，从而形成视觉印象。
通常情况来讲，人眼的视觉特性主要包含三个方面：亮度特性、视觉掩蔽特性和视觉注意力机制。亮度特性是人类视觉系统最基础的特性，其表现为人眼对于亮度特性的敏感程度。当图像的整体亮度值越高时，人眼所能够接收到的有用信息也就越多。视觉掩蔽特性的表现形式为当受到多种刺激源的作用时，人眼会对一部分刺激源敏感，而对另一部分刺激不敏感。视觉注意力机制则表现为人眼会更加关注感兴趣的区域，而对于不感兴趣的区域会视而不见，这种视觉机制会受到图像内容信息的影响。
此外，根据目前一些神经科学的研究，例如：自由能原理（free energy principle）[53][54]和贝叶斯大脑假说（Bayesian brain hypothesis）[55]，人类在感知图像内容时，人类视觉系统与其内部生成机制（Internal Generative Mechanism, IGM）相互协调。事实上，人类对于视觉信号的接收并不是简单的输入刺激的横向平移，而是外部刺激与大脑内部机制相互作用形成的反应。对于人眼输入信息，人脑的内部生成机制会试图避免无序的信息，并且会通过内部推理过程建设性地给出最好的解释[56]。举例来说，当人眼接收无序的失真图像时，人脑的内部生成机制会主动推断出失真图像的主要内容，当失真图像的内容越难被推理时说明图像的失真程度越严重，反之则说明图像的失真程度较轻。
.................................
2.2 深度学习相关知识
随着深度学习技术的兴起，越来越多的领域开始将深度学习进行广泛地应用，并取得了很多突出的成绩。深度学习的优势在于可以通过建立端到端的模型自动地对训练数据的特征进行提取归纳，从而建立一个高效的预测模型。此外，深度学习自动提取的特征比手工设计的特征更加丰富，可以提升整体模型的预测准确性。本文借助深度学习技术，将卷积神经网络、生成式对抗网络、残差网络、全连接层等技术应用到图像质量评价任务中，以提升质量分数的预测准确性。
2.2.1 卷积神经网络
在卷积神经网络兴起之前，对数据的处理往往依靠全连接神经网络。全连接神经网络的网络框架如图2-1所示。
工程硕士论文怎么写
图2-1中，全连接神经网络通过隐藏层对输入数据和输出数据进行拟合。虽然全连接神经网络在一定程度上提升了预测准确性，但是对于图像数据的处理，其依然面临如下几个问题：（1）全连接神经网络需要将三维图像展开成一维向量，从而使图像维度适应全连接神经网络的输入，但是这也导致了图像空间信息的丢失；（2）全连接神经网络拥有庞大的网络参数，并且运行效率低下、训练困难；（3）由于全连接神经网络的参数量过多，这也使得网络训练过程中容易导致过拟合现象的发生。
...................................
第三章 基于循环生成式对抗网络的盲图像质量评价方法 ......................... 16
3.1 问题描述 ................................ 16
3.2 基于循环生成式对抗网络的盲图像质量评价方法框架 ...................... 18
第四章 基于内容感知和失真推理的盲图像质量评价方法 .............................. 35
4.1 问题描述 ............................... 35
4.2 基于内容感知和失真推理的盲图像质量评价方法框架 ........................ 38
第五章 总结与展望 ............................. 57
5.1 总结 ............................................. 57
5.2 展望 ........................... 57
第四章 基于内容感知和失真推理的盲图像质量评价方法
4.1 问题描述
由于人类是图像的最终接收者，因此，图像质量评价算法的预测结果应该尽可能与人类的打分一致。虽然，目前很多基于卷积神经网络的质量评价方法已经取得了优秀的预测准确度。但是，面对失真图像中的内容变化问题和失真变化问题，此类方法仍然难以给出较好的解决方法。为了有效地预测失真图像的质量分数，本章从以下三个角度出发解决图像质量评价中的关键问题：
（1）失真图像的内容变化问题：目前的盲图像质量评价方法往往通过训练一个端到端的深度学习模型来建立失真特征和质量分数之间的关系。此类方法旨在提取图像中的失真信息，但是缺乏对于图像内容信息的提取，因此在一定程度上降低了质量预测的准确性。如Li等人在文献[33]中所论证的那样，当人类对图像进行打分时，影响打分的因素不仅仅是图像中的失真信息，往往也会受到图像内容的影响。不同图像内容对于主观评价分数MOS值的影响如图4-1所示。
工程硕士论文参考
图4-1中，虽然左边图像的失真程度比右边更加严重，但是其具有更高的MOS值。原因在于对于大多数人来说，左边图像的内容比右边图像的内容更加令人愉悦。因此，受到人类感知图像的启发，本章提出了一个内容特征提取器来对图像中的内容信息进行提取。
................................
第五章 总结与展望
5.1 总结
盲图像质量评价任务是目前具有挑战性的计算机视觉问题，其在很多方面仍然具有广泛的应用。虽然目前盲图像质量评价方法已经取得了不小的进步，但是在该领域中还存在很多问题需要攻克。例如：盲图像质量评价方法由于缺乏参考图像而难以取得与全参考图像质量评价方法相媲美的性能。此外，图像中包含丰富的内容信息和失真信息，因此很难通过一个单一模型准确预测图像的质量分数。本文通过模拟人类视觉系统，并且结合深度学习技术，针对目前盲图像质量评价方法中存在的问题进行了分析与总结，提出了两个全新的盲图像质量评价方法。本文的主要工作如下：
（1）提出一种基于循环生成式对抗网络的盲图像质量评价方法，该方法设计了一个基于生成式对抗网络的质量感知网络和一个质量回归网络。由于失真图像的产生源自于失真信息引入参考图像的过程，因此，质量感知网络旨在模拟失真信息引入图像的正向过程和反向过程。为进一步提升质量感知网络的预测效果，本文还提出了注意力块来自适应融合高级语义特征和低级语义特征。在此基础上，通过提取质量感知网络的分层恢复特征作为质量预测的依据。
（2）提出一种基于内容感知和失真推理的盲图像质量评价方法，该方法设计了一个内容特征提取器、一个失真特征提取器、一个自适应融合块和一个质量预测块。目的是解决一个模型难以有效应对质量评价中的丰富的内容信息和失真信息的问题。内容特征提取器和失真特征提取器旨在分别提取图像中的内容信息和失真信息。接着通过一个提出的融合特征块来自适应融合提取的内容特征和失真特征。实验表示，这种感知方式可以取得更加优秀的预测准确性。
参考文献（略）