第1章 绪论
立体匹配始终是立体视觉的一个重点和难点，包括特征提取和特征匹配。特征提取是为了得到匹配赖以进行的图像特征，目前尚没有一种普遍适用的理论可用于特征提取，因此导致了立体视觉中匹配特征的多样性。目前，常用的匹配特征主要有点特征、线状特征和区域特征等。通常，大尺度的特征有较丰富的图像信息，在图像中数目较少，易于快速匹配，但定位精度差，特征提取和特征描述比较困难。小尺度特征数目较多，所含信息较少，因而匹配时需较强的约束准则和匹配策略，目前以点特征研究较多。1997年，英国牛津大学的Simth等人提出了著名的SUSAN角点检测算子，该方法以像素周围区域最小化用统计特性来决定该像素为角点、边上的点还是圆上的点[15]。Kitehen和Rosefeld提出的角点检测器利用灰度沿边界轮廓梯度方向变化最大的性质。Nobel试图用微分几何给出角点检测的理论公式，并归纳出了在Plessey算法下的检测原则。1988年，Harris和Stephens对Plessey角点进行了改进，提出Harris角点检测算法。随着尺度空间理论的发展，2004年由Mikolajczyk和Schmid提出将Harris角点检测算法与高斯尺度空间表示相结合的Harris-Laplace检测方法和利用放射不变性Harris算子进行局部拟合，通过迭代计算得到被检测区域的仿射变换参数的Harris-Affine检测方法。Lowe和Bay等分别提出能够高效实现且具有尺度和旋转不变性SIFT和SURF算法，将特征点检测和特征矢量生成，特征匹配搜索等步骤完整的结合到一起进行优化，达到了接近实时的运算速度。近年来，国内学者也对此做了很多工作，肖秩军等人提出了基于B样条模型的曲线特征点检测法[16]。边缘检测的方法目前也有很多，它们大都是通过计算图像的微分来完成的。梯度方法使用的是一阶微分，如Sobel，Prewitt，Canny。拉普拉斯方法使用的是图像的二阶微分，如Marr，Lindberg。其中Canny算子由于性能较好，是边缘检测中最为常用及代表性的方法。区域检测作为图像处理领域中经典研究方向，目前最常用的为具有旋转、尺度和放射不变性的MSERs (最大稳定极值区域）、EBRs (基于边缘区域）、IBRs(基于密度极值区域）以及Salient Region(显著性区域)等区域检测。特征匹配时根据所提取的特征，建立特征之间的对应关系，特征匹配往往以灰度相似性为基础，辅以对极几何约束或其他约束进行搜索。Beardsle等运行相关性对提取的角点进行匹配，将匹配的结果用奇异值分解求取了基础矩阵。Pritchert和Zisseman等提出用单应性矩阵取代传统的的灰度相似性和极线约束作为匹配准贝IJ,他们近似认为特征点及其周围小块区域是空间中平面的成像，因此匹配点对之间应近似满足单应性矩阵的关系。Lhuillier和LongQuan等提出一种稠密匹配的新策略，?综合了以对极几何为代表的全局约束和以灰度相似、单应性矩阵为代表的局部约束，在每次匹配过程中，选取当前灰度相似性最大的匹配对，在它周围小区域内寻找更多的匹配对，重复该过程直到匹配对充满整幅图像，然后用对极几何约束消除错误匹配，该方法对于纹理稠密的图像特别有效，但精度不高。上述这些理论和方法的研究有力地促进了相关应用的发展，同时，多摄像机立体视觉技术、实时立体视觉的实现等多个领域内也取得了重要进展，可以说需要人类视觉的场合几乎都有计算机视觉的应用，特别是在许多人类视觉无法感知的场合，如在精确定量感知、危险场景感知和不可见物体感知等场合，计算机视觉更能显示其无可比拟的优越性。计算机视觉的应用领域包括对照片特别是航空照片和卫星照片的解释、精确制导、移动机器人视觉导航、医学辅助诊断、工业机器人的手眼系统、地图绘制、物体三维形状分析与识别以及智能人机接口等。但就双目立体视觉技术的发展现状而言，无论是从视觉生理的角度，还是从实际应用方面来看，现有的立体视觉技术还处在十分不成熟的阶段，计算机立体视觉系统的研究面临着一系列技术难点[17]:1)立体匹配作为立体视觉的核心，虽然取得了很多研究成果和发展，但在理论上和技术上都还不完善。例如，如何选择合理的匹配特征，以克服匹配准确性与恢复视差全面性间的矛盾；如何选择有效的匹配准则和算法结构，以解决存在严重灰度失真、几何畸变、噪声干扰、特殊结构及遮挡景物的匹配问题；如何建立更有效的图像表达形式和立体视觉模型，降低立体匹配的难度等。目前也还没有一种可靠的通用的匹配方法。2)人类对自身视觉机理还不十分了解，人类是如何精选、获取和分析理解视觉知识的，至今还未充分搞清楚。3)立体视觉系统所需的计算量是非常庞大的，对于一幅标准的航空摄影照片(3000X3000)只用一个3X3的算子对其进行一次卷积运算就相当于108次乘法运算。然而实用的系统对时间的要求是有一定限制的。在现阶段集成电路和特殊功能部件的发展还不能满足实时性的要求，这为立体视觉系统完全变为实用的通用系统设置了一大障碍。
第3章 特征提取………………………..19
3.1 局部不变性特征概述………………………19
3.2 Harris 触……………………… 21
3.3 SIFT特征生成………………………24
3.3.1 DOG尺度空间生成………………………24
3.3.2 特征点搜索与定位………………………27
3.3.3 特征点方向分配………………………29
3.3.4 特征点特征矢量生成………………………30
第4章 特征匹配………………………32
4.1 匹配算法………………………32
4.1.1归一化互相关（NCC) ………………………32
4.1.2欧氏距离………………………33
4.2 Kd-树算法………………………33
4.3 匹配对提纯（RANSAC) ………………………38
第5章 深度信息获取………………………40
5.1 二角测量原理………………………40
5.2 汇聚式双目立体视觉三维测量………………………41
总结
本文对计算机双目视觉系统的各组成部分进行了分析。在双目视觉系统的实现过程中，首先分析摄像机成像原理，采用张氏标定法对摄像机进行标定，得到较为精确的摄像机内外参数。分别利用Harris角点检测算法和SIFT算法提取图像的特征点。对两种方法提取到的特征点，分别釆用不同相似性度量进行匹配，并得到了较准确的匹配结果。最后根据标定所得摄像机的参数以及匹配的特征点对，根据立体视觉成像原理，建立方程求解得到特征点的三维信息。
本系统还存在一些不足之处，主要是：1)摄像机标定时采用的张氏标定法，虽然标定很方便且得到的参数结果精度较高，但在实际运用中，随着场景的变换为了得到清楚的成像效果，需要对摄像机调整焦距以得到清晰的成像效果，但如此就会造成摄像机内参数的改变。每一次的调整就要对两个摄像机重新标定，在实际运用中过于繁琐不够实用，所以可以进一步研究不需要标定板且能够得到精度较高的自标定方法。2)在本文绪论中，介绍到计算机视觉研究面临的难点中提到现有的匹配基元的选择，都存在着匹配准确性与恢复视差全面性的矛盾，本文针对双目视觉图像对之间存在的视角差异、光照差异、几何畸变、噪声干扰等问题，提取图像的局部不变性特征进行立体匹配，虽然获得了满意的匹配结果，但是得到的特征点相对于全面恢复客观景物的三维信息来说远远不够，只能通过插值等计算补充，对于提取到特征点较少或未提取到特征点的物体更是无法进行插值计算。3)本系统的实验结果显示对于物体边缘处的匹配效果不太理想，不利于恢复物体的三维信息，可以考虑加入边缘控制策略来加强边缘匹配精度。4)由于能力不足整个过程的实现与实时性双目视觉系统还存在一定差距，需要进一步优化代码并考虑引入并行化处理，提高算法速度。
参考文献：
[1]王军.双目立体视觉匹配改进算法及三维重建技术[D]. 2005.
[2] Brown M Z，Burschka D, Hager G D, Advances in computational stereo [J]. IEEETransaction on Pattern Analysis and Machine Intelligence, 2003，25(8):993-1008.
[3] Marr D. Vision: A Computational Investigation in to the Human Representation andProcessing of Visual Information [M]. San Francisco: W.H.Freeman and Company, 1982:18-22.
[4]全红艳，张田文.一种新的利用模板进行摄像机自标定的方法[J].电子学报，2005，33(11):1941-1945.
[5]刘金颂，原思聪，张庆阳等.双目立体视觉中的蛇形迹标定技术研究[J].计算机工程与应用，2008,44(6):237-239.
[6]刘元坤，苏显渝，吴庆阳.基于傅里叶条纹分析的多摄像机标定方法[J].光子学报，2007,36(9):1734-1737.
[7] Meng X Q，Hu Z Y. A new easy camera calibration technique based on circular points[J]. Pattern Recognition, 2003,36(5): 1155-1164.
[8] Martins H A，Birk J R，Kelley R B. Camera models based on data from twocalibration planes [J]. Computer Graphics and Imaging Processing?1981,17:173-180.
[9] Wei G Q，Ma S D. Implicit and explicit camera calibration theory and experiments [J].IEEE Transcation on Pattern Analysis and Maching Intelligence, 1944,16:469-480.
[10] Faugeras 0，Luong Q T，Maybank S. Camera self-calibration: Theory andexperiments [Z]. Proceedings of the 2nd European Conference on Computer Vision，Italy,1922:321-334.