第 1 章 绪 论
1.1 研究背景和意义
多媒体技术是处理文字、图像、视频、声音、数据等信息的技术,近年来取得了飞速的发展。如今多媒体技术的应用已经覆盖了计算机、数字视频、数字广播电视、通信等领域。视频信息是多媒体信息中较为重要的一部分,因为它具有直观性、高效性、确切性等优势,是人类获取多媒体信息的重要途径之一。然而随着视频数据的不断增长,如果不先经过压缩就直接传输在网络信道中,将会占用大量的带宽,并且极不利于储存。
小波变换是基于傅里叶变换提出的新型变换算法,但与基函数为余弦函数的傅里叶变换不同,小波变换是基于一些小型波提出的。它具有有限的持续时间和变化的频率。1987 年,小波首次被证明为一种合理的分析方法和有效的信号处理,为多分辨率理论奠定了基础。多分辨率理论涉及多个分辨率下的图像或信号的分析与表示,这使得信号在某个分辨率下无法检测时可以在另一个分辨率检测出来。为了便于应用Mallat 在同年提出了离散小波变换及其快速算法。
视频序列中存在着时间与空间的冗余,因为多数图像中像素之间是空间相关的,每一个像素与邻近像素都是类似的,因此在相关像素的表示中,没有必要重复表示信息,在视频信号中,邻近帧之间的相关像素也有类似的重复信息。正是由于这些冗余使得对视频图像的压缩成为了可能。小波变换就是根据这些冗余通过变换来解除图像像素之间的相关性,这样比直接对原图像像素进行编码效率更高。
本文将小波分析理论应用在H.264视频压缩标准中,提出了一种结合离散小波变换以及离散余弦变换的自适应视频压缩算法,并训练了相应的量化矩阵,实验证明,新的压缩算法在几乎不增加计算复杂度的前提下,提升了压缩效果,这对推动视频压缩技术的进步有着重要的现实意义。
1.2 国内外研究现状
H.264 视频压缩标准基于混合编码框架,融合了如帧内预测、帧间预测、变换编码、熵编码等先进的编码算法,具有压缩效率高、压缩后码流低、网络亲和性强,图像重建后质量好等优势,是目前应用最广泛的视频压缩标准,也是近几年研究的热点。
为了提高编码效率,国内外学者进行了许多研究。对于变换编码部分,张东明在其文章中提出了基于Laplacian概率分布模型的DCT算法,其主要思想是将 DCT 的复杂度进行分级控制,从而降低 H.264 的运算复杂度。Pao等人为DCT 变换系数分布建立了概率模型,当预测值全为零时,通过阈值来控制 DCT的复杂度,这种算法既能保证正确率又能大幅度降低 DCT 运算的复杂度。朱光喜等人[6]详细分析了离散余弦变换的基本原理,提出一种涉及能量集中率的选择算法,对降低运算复杂度起到了很好的作用。
近年来,随着小波分析理论不断完善以及离散小波变换在数字图像处理中的不断突破,这对于将小波分析理论使用在视频压缩中的研究成为了热点,其中研究最为成熟的要数王国秋教授提出的多进最优 Haar 小波理论在视频/图像压缩中的应用,并由其学生在论文中实现了其算法,并取得了很好的结果。然而,该算法是具有一定的局限性的,即只有在特定的码流范围内才会略优于H.264。
第 2 章 视频压缩编码标准
视觉信息是人类获取信息的重要途径之一,据统计,视觉信息占信息总量的70%,因此视频/图像信息的处理是多媒体技术中非常重要的领域。然而,随着信息化建设的逐步完善,视频/图像的信息数据量越来越庞大,如果直接将这些信息数据在网路上传输,其代价是非常昂贵的,并且不便于储存,因此视频压缩技术具有非常重要的现实意义。
2.1 视频编码技术概述
2.1.1 视频压缩编码的目标
如上面提到的,随着标清、高清视频技术的出现,视频信号的信息量是非常巨大的,如果将这些视频信号直接在信道上传输基本是不可能的。所以先将视频信号进行压缩,再将压缩后的信号在信道上传输,这样即节省了储存空间又减低了对信道宽度的要求。然而要是只考虑压缩比,那么压缩后的视频信号可能严重失真,如果只考虑压缩后的视频质量,压缩比又不能达到要求。这样就对视频压缩编码技术有两个要求:
⑴ 视频信号在压缩编码后,经解码重建需保证一定的视频图像质量。
⑵ 视频压缩编码技术要有一定的压缩比,保证视频信号经压缩后在一定的带宽内。
2.1.2 视频压缩的可能性
我们常见的视频信号中其实存在很多的冗余信号,主要分为空间冗余和时间冗余。
空间冗余:视频信号同一帧中相邻的像素间存在很强相关性,即相邻的像素值之间相差不大。每个像素都可以由邻近的几个像素值预测出来,独立像素所带的信息量较小,这种邻近像素之间的冗余称为空间冗余。
时间冗余:视频信号中帧与帧之间的采样间隔很小,因此相邻两帧之间也存在着很大的相关性,静止不动的或变换很小的场景,相邻帧的图像内容基本相同。这种帧与帧之间的冗余称为时间冗余。
除此之外,由于人类的视觉系统对不同的视觉信息有着不同的敏感程度,因此,视频中的部分信息很容易被我们认为是不重要的信息而漏掉。这就产生了心理视觉冗余。在视频压缩编码中,我们可以根据上述三种冗余的特点结合压缩编码技术对视频信号进行压缩。
2.2 视频压缩的核心编码算法
2.2.1 预测编码
如上所述,视频信号中存在很多的冗余信号,相邻的像素之间相差很小,预测编码就是根据这个特性,利用已经编码的像素来预测当前编码像素的像素值,即预测值,然后将当前像素的真实值与预测值之差进行编码。由于其差值较小,从而达到压缩的效果。预测编码中常见的方法包括DPCM(Differential Pulse Code Modulation)编码方法和运动补偿预测编码。
DPCM 编码是一种通过视频信号间的信息冗余度进行压缩编码的多媒体技术。它是根据已编码的视频信号来计算下一个信号的幅度大小,即预测值。然后对信号的实际值与预测值的差进行量化编码,与直接对视频信号进行压缩编码的脉冲编码调制不同,DPCM 直接对差值进行量化编码,这样无论在储存上还是在信号的传送上都大幅度的降低了数据量。帧内编码就是一种基于像素预测形式的DPCM 编码。但由于帧内 DPCM 的压缩效率低,很容易产生误码扩散因此很少独立的使用。
帧间预测]是通过消除视频序列中帧与帧之间的相关性即时间冗余而达到压缩的目的。主要的方法包括自适应帧间/帧内算法、帧内插法和运动补偿法。其中运动补偿预测编码的压缩效果最好,已被各种多媒体编码标准应用。
运动补偿预测编码用于消除两帧之间的瞬时冗余,适用于所有的帧间编码算法。动态的视频图像可以分成动态和静态两个部分,静态部分完全可以复制前一帧的信息,动态部分则由其位移量来进行预测,在视频编码中我们把这种位移量称为运动失量。由于运动物体的外形与运动轨迹都是不规则的,因此利用整数来描述运动是不准确的,这就要靠运动补偿技术进行修正,修正后得到残差值,最后将运动矢量与残差值进行下一步压缩编码从而提高压缩比。
运动补偿预测一般分为三种类型:
⑴ 单向运动补偿预测;只使用当前帧之前或之后的一帧作为参考帧进行预测。
⑵ 双向运动补偿预测;利用前后参考帧对各块的运动矢量进行计算,最后只使用与当前块最小匹配误差的参考帧的运动矢量。
⑶ 插值运动补偿预测;将前后参考帧的均值作为参考值。
第 3 章 最优多进 Haar 小波 .......................... 23
3.1 小波分析概述 ...................... 23
3.1.1 小波变换的发展史 ............................ 23
3.1.2 连续小波变换 ........................... 24
第 4 章 自适应变换编码算法 ................ 29
4.1 离散变换算法的选择 ............ 29
4.2 DCT和 DWT压缩效果分析 .......................... 31
第 4 章 自适应变换编码算法
无论是图像还是视频的压缩技术中, DCT(离散余弦变换)变换是目前一种广为采用的压缩技术,例如H.264、MPEG4、JPEG 等国际多媒体压缩标准都使用了DCT对图像进行处理。这主要是因为DCT技术较其他变换技术具有计算量适中,去相关压缩能力强。但是DCT也有其自身的缺点,例如所处理的图像是基于分块进行的。这就使得块与块边界两边像素的相关性不能去掉,从而容易形成方块边界即方块效应。
4.1 离散变换算法的选择
长期以来,离散小波变换在图像压缩,数字信号处理等领域到了广泛的应用。近年来离散小波变换在视频压缩中的应用成为了视频方向的研究热点,在进行理论分析前,我们对几种在信号处理中常见的离散变换进行了实验,我们采用的试验机器配置为 Intel(R) Core(TM) i3-2100 CPU @ 3.10GHz 处理器,4.00GB内存,32位操作系统,分别对 akiyo、container、foreman等视频序列进行压缩,采用了H.264中的BaseLine Profile模式,并使用默认参数。
由表 4-1和表4-2可见使用以上四种变化在PSNR(信噪比)上并没有太大的区别,但是在压缩效果上小波变换比其他两种变换有着明显的提升,尤其是 4-进最优 Haar 变换。只是在时间上比 H.264 标准有少量增加。
结论与展望
通过对新一代视频压缩编码标准 H.264 的仔细研究,以及对小波分析理论的系统学习,本文首次提出了结合离散小波变换与离散傅里叶变换的自适应编码算法,本文主要工作如下:
⑴ 详细分析视频压缩标准的基本编码算法,总结每一代视频压缩标准的优势及不足,并仔细研究了H.264中变换编码部分算法及相应源代码。
⑵ 研究了小波分析理论,通过实验选择了 4-进最优 Haar 小波变换为接下来实验的离散小波变换,通过比较离散傅里叶变换与离散小波变换的特性以及H.264码流的自身特点,提出了自适应变换算法,并训练了相应的量化矩阵。
⑶ 将本文提出的自适应变换算法替代H.264标准中的离散余弦变换,生成新的压缩算法,并与 H.264 标准进行比较试验。实验表明,大部分情况下新算法的压缩效果要优于H.264标准。
本文进一步的工作包括:
⑴ 本文提出的基于自适应变换的新型压缩标准虽然得到了很好的效果,但我们分析认为 ADT 变换的性能仍有很大的提升空间。本文可以根据 ADT 变换后系数矩阵的分布规律提出相应的霍夫曼编码表,从而进一步降低码流。
⑵ 对小波分析理论进行更深一层的学习,提出一种完全可以代替离散余弦变换的离散小波变换。
总之,随着小波分析理论的完善以及视频压缩技术的发展,小波分析在视频压缩中的地位将越来越重要,因此小波分析将成为视频压缩编码算法的研究热点。
参考文献(略)