1绪论
1.1计算机视觉技术介绍
1.1.1计算机视觉概述
经过一个相当漫长的过程,人类对视觉的认识从感性认识转到定性定量的分析研究。用机器代替人眼进行目标对象的识别、判断和测量是人类很多年的梦想,机器和计算机具有类似于人类的视觉感受能力,就能给人类提供更优质、更人性化、更接近人类水平的服务。近几十年以来,为了实现这个目标,科技工作者以“计算机视觉”为处理信息的基础坚持不懈的努力。计算机视觉通常又称为机器视觉,这门学科的研究与发展已有几十年的历史,它是一门通过图像或视频数据来感知、识别和理解客观世界的学科,主要以摄像机拍摄的数字图像或数字视频为原始数据,从中提取出在图像或视频中能观察到的事物。计算机视觉学科要解决的问题,与人类通过眼镜观察世界的视觉感知功能十分相似。在具体应用中,机器视觉与计算机视觉有一定差异,称机器视觉是强调用机器构成的系统来处理视觉问题,而称计算机视觉则强调处理视觉的问题是一个计算问题,核心部件是计算功能强大的计算机[4]。随着视觉传感技术、计算机技术和图像处理技术的快速发展,计算机视觉技术应用越来越广泛,如食品、制药、建材、化工、电子制造、包装、汽车制造等各种行业,机器视觉可以应用于各种需要视觉观测的场合,在一些危险、狭小、非可见光场合,其比人类视觉更具优越性。计算机视觉技术主要涉及目标对象的图像获取技术、对图像信息的处理技术以及对目标对象的测量和识别技术,其中,比较典型的计算机视觉测量对象和方波包括尺寸测量、缺陷检测、模式识别、图像融合、目标跟踪、三维重构,等等[5]。计算机视觉系统通过图像采集设备获取图像,然后将获取的图像传送至处理单元,通过数字化图像处理进行尺寸、形状、颜色等的判别,进而根据判别的结果控制现场设备[6]。其系统组成包括视觉采集单元、传感器单元、处理器单元、存储单元等,基于PC的计算机视觉由CCD相机、图像(视频)采集卡和PC机等组成,而嵌入式机器视觉由CCD、内存、处理器、通信接口等组成。图1.1所示为典型机器视觉系统的组成结构,(1)为待测物,(2)为摄像机,(3)为图像采集卡,(4)为通信接口与图像处理器,(5)为控制驱动单元,(6)操作执行单元,(7)为显示器,(8)为光源。
1.1.2计算机视觉原理
计算机视觉系统以图形图像模型的形式构建或复原现实世界,认知现实世界,建立与人类视觉系统相似的通用的计算机视觉系统[8]。计算机以及信号处理理论出现后,人们幵始尝试使用摄像机等图像捕捉设备代替人眼获取图像,然后使用计算机或嵌入式处理器等代替人脑分析、认知和理解数据,由此诞生计算机视觉学科。计算机视觉学科要实现的最终目标就是使计算机和机器能够像人类那样观察和理解世界,目前应用中的一般性目标只是让计算机或机器能够完成一定程度的智能要求。计算机视觉的研究幵始于20世纪50年代,最初是通过统计模式识别方法识别光学字符。60年代初数字图像处理学科形成,一些研究人员开始通过计算机编程提取简单形体的三维结构,从而得到物体形状和空间位置关系,同时,更多的研究人员开始研究图像特征提取,分析图像灰度、纹理、运动等,形成了很多方面的研究标准和统一规则。80、90年代,人工智能快速发展,计算机视觉特别是立体视觉、立体匹配等方面受到极大重视。视觉理论研究的创始人David Marr在其著作《Vision》中提出了视觉理论框架(如图1.2所示),Marr的理论受人工智能和神经科学两方面影响,是计算神经科学的前驱,也是对视觉理论研究影响最深刻的理论之一。
2双目立体视觉系统模型与摄像机标定
2.1人类视觉系统立体感知原理
人类观察外部世界,能够感知物体的立体性,分辨所观察的场景的深度以及景物的远近,人眼获取的场景信息是立体信息,人类视觉系统是一个立体视觉系统。双目立体视觉系统是一种模拟人类双眼视觉观察特性的计算机视觉系统。利用双目立体视觉系统,能够实现对待测场景目标的距离感知与被动测距,以及实现目标场景的三维信息恢复与重构。双目立体视觉技术是计算机视觉研究和应用中的重要组成部分,在无人驾驶、生命医学、工业测量等领域具有广泛应用和重要研究意义。由于单幅图像仅仅提供图像中每单个点的视线,但不知道在该视线上世界坐标系中相应的三维空间点距离探测平面多远,因此单幅图像所获取的信息只能提供世界坐标系中某平面上二维测量,无法重构场景的三维几何信息。双目立体视觉技术是通过分析两幅二维图像的图像信息,结合视差测距等先验知识,获取物体的三维表面形状信息的技术,其工作原理主要是基于人类双眼视觉中视差测距的原理,双目视觉是最接近于人类视觉的三维数据恢复方式。人类视觉系统由双眼、视神经和大脑组成,在可见光照射条件下,正常人眼感受到光的刺激,会将场景成像在视网膜上,经视神经传输,把该信号传送至大脑,经大脑处理形成图像。大脑根据两只眼睛所获取的图像,产生远近的深度,从而产生立体感。人眼是一个非常复杂的成像系统,人类视觉系统的立体成像过程更是一个非常复杂的过程,不仅包含了生物学的相关知识,还包含心理学等相关知识。
3立体匹配技术研究与改进........... 22
3.1立体匹配技术概述........ 22
3.2立体匹配约束条件........ 23
3.3立体匹配方法 ........25
3.3.1基于特征的立体匹配方法........ 26
3.3.2基于区域的立体匹配方法........ 27
3.3.3基于相位的立体匹配方法........ 27
3.3.4立体匹配方法比较与选择........ 28
3.4区域立体匹配算法研究........ 29
3.4.1传统区域匹配算法........ 29
3.4.2自适应窗口算法........ 30
3.4.3自适应权重算法........ 31
3.5改进区域立体匹配算法........ 32
3.6实验与结果分析........ 40
4双目立体系统构建与实验分析........ 45
4.1双目立体视觉系统的构建........ 45
4.2被动双目测距与实验分析........ 46
4.2.1被动测距系统标定........ 46
4.2.2测距与结果分析........ 47
4.3系统实现与结果分析........ 48
4.3.1理想光照条件下实验效果与分析........ 48
4.3.2差异光照条件下实验效果........ 50
5总结与展望........ 52
结论
计算机视觉是人工智能领域的重要研究科目,为人机交互、智能工程、可视化工程操作提供了方法和界面。计算机视觉已广泛应用于医疗、军事、设计、生产制造、智能交通、航空航天、影视娱乐等诸多领域,在需要视觉观测的场合都可以应用计算机视觉,特别是在一些人类视觉难以观测的场合,计算机视觉更具优越性。立体视觉是计算机视觉技术的主要内容之一,它解决了二维平面图像向三维空间结构转换的问题。在双目立体视觉技术研究中,立体匹配是准确实现三维重建的前提条件,更精确、更快速的立体匹配算法一直是研究的热门问题。本文系统地分析和研究了三维重建技术的主要环节,研究的内容和解决的问题有如下几个方面:
(1)在分析双目立体摄像机系统标定和成像模型的基础上,研究了双目立体视觉系统参数求取和调整的方法,标定好的双目立体系统可以实现较精确的特殊点测距。
(2)在对立体图像对的匹配分析阶段,本文首先研究了立体视觉技术的原理,然后综合分析了立体匹配中的各种约束条件,最后根据各种立体匹配方法的优劣,结合课题需求选择基于区域的立体匹配算法。
(3)设计了精度与速度兼顾的区域立体匹配算法。针对区域立体匹配算法中存在的问题:一致的支持窗口尺寸和均匀的匹配系数会影响匹配效果,本文提出了一种基于图像边缘自适应窗口尺寸、几何距离自适应权重、颜色距离加权的彩色图像立体匹配算法。该算法首先利用图像边缘信息选取支持窗口尺寸;然后根据匹配价值的变化特性,构造了符合概率曲线的权重模型;最后结合色彩相似性约束,以加权的颜色距离累加和作为相似度,获取稠密视差图。利用Middlebury数据库和测评系统,进行了算法仿真,实验结果表明,本文算法能够有效降低匹配噪声,提高边缘区域和低纹理区域的匹配精度,匹配速度快。
(4)构建了双目立体视觉系统实验所需的硬件平台。首先调节系统;然后对该系统釆集的图像进行特殊点测距实验;最后用本文算法对采集的图像进行了立体匹配,并利用匹配结果进行了测距。实验结果表明,本文算法能够有效应用于实验系统所采集的图像,匹配结果噪声小、速度快,本文系统能够有效实现双目被动测距功能,测距结果精度高、效果好。
参考文献
[1]章毓晋.图像理解与计算机视觉.北京:清华大学出版社,2011
[2]高文,陈熙霖.计算机视觉算法与系统原理.北京:清华大学出版社,2002
[3] Wesley E.Snyder.机器视觉教程.北京:机械工业出版社,2005
[4]段峰,王耀南,雷晓峰,吴立钊,谭文.机器视觉技术及其应用综述.自动化博览,59-61
[5] Linda G. Shapiro, George C. Stockman.计算机视觉.北京:机械工业出版社,2005
[6] Carsten Steger,Markus Ulrich, Christian Wiedemann.机器视觉算法与应用.北京:清华大学出版社,2008
[7]韩九强.机器视觉技术及应用.北京:高等教育出版社,2009
[8]李岩琪.基于SIFT算子的双目视觉立体匹配算法研究.西安:西安电子科技大学,2010
[9] Marr D,Yao Guozheng translation. Vision Computing http://sblunwen.com/jsjyy/ Theory. Beijing: Higher Educ?ation Press, 1988
[10]张洪涛.计算机视觉结构综述.中国视觉网文章,2006