1绪论
1.1课题研究背景
随着科学技术的发展,在现代工业自动化生产中,会涉及到各种样品检验、工况监控以及零件识别等任务。由于疲劳等因素,通常人眼无法长期稳定的完成这些带有高度重复性和智能型的工作。因此,人们开始利用图像传感器采集样品图像,根据所采集的图像的灰度、颜色等信息,通过计算机或者专用的图像采集处理系统来提取特征,完成尺寸、形状、颜色等的判别,这样将光电技术和计算机技术相结合,形成了机器视觉的概念⑴。机器视觉从起步发展到现在,有着近20年的发展历史。随着各行业对检测与自动化要求的逐渐提高,机器视觉的应用已经由最初的半导体、生物等行业,逐步扩散到汽车、通信、医疗器械、军事等行业。采用机器视觉系统的不仅可以代替人眼承担高强度的监视与检测任务,提高生产效率,并且分离了测量与被测量者,很大程度上确保了二者的安全,一些不适合于人工作业的危险工作环境或人工视觉难以满足要求的场合,常用机器视觉来替代人眼观察;另外对于直接人眼观测不到的领域,如红外紫外波段、X射线、微波等,机器视觉可利用特殊的传感器进行观测;工业相机是机器视觉系统的核心部件,通常作为机器视觉系统的前端,承担着图像采集和传输部分,其性能直接影响到后端的处理与显示。相比于传统的摄像机而言,它需要具备高的图像稳定性、高传输能力和高抗干扰能力。等随着加工制造业的发展和技术的提高以及对质量要求的不断提升,机器视觉市场逐步从低端走向高端,未来需要更加智能、更快速和更高分辨率的工业相机来适应机器视觉发展的需要。过去的工业相机基本都是PC-Based,图像采集与其他控制和处理分离,后端的所有处理依赖于PC机,对后端处理的要求较高,并且整个系统体积庞大,功耗和成本都较高。随着计算机技术和微电子技术的迅速发展,嵌入式系统应用领域越来越广泛,尤其是其低功耗的特性使得机器视觉在今后的发展会非常多的采用嵌入式技术。国外对于工业相机本身能作为一合独立的机器视觉终端的研究已经成为一个热点。研制低功耗,低成本,高分辨率的嵌入式工业相机成为了一个重要课题。
1.2课题研究现状
1.2.1工业相机国外发展现状
国外机器视觉的发展大致经历了以下几个发展阶段:20世纪50年代因为机器人的研制而首先提出机器视觉概念,20世纪70年代伴随CCD图像传感器的出现机器视觉开始真正发展,20世纪80年代CPU、DSP等计算机硬件技术以及图像处理技术的飞速进步为机器视觉发展提供了基础条件。在90年代机器视觉发展趋于成熟,之后进入高速发展时期。研究报告指出,目前全球整个视觉市场总量至少是150亿美元,并且按照每年8%左右的增长速度不断增长⑴。目前全球知名的工业相机供应商有加拿大Dalsa公司,德国的Allied Vision Technologies (AVT)、Basler、The Imaging Source 以及丹麦的 JAI 公司。其中Dalsa公司是最知名的CCD/CMOS工业相机制造商,同时也是世界上唯一的一家同时拥有半导体制造,芯片设计与制造,相机设计与制造,图像采集处理软硬件设计能力等全线产品设计能力的企业,是成像与机器视觉行业的先驱12]。下图1.1是Dalsa Falcon SA系列的CCD面阵相机。高分辨率。分辨率是工业相机比较关键的一个性能参数,分辨率体现了图像的精细程度,分辨率越高,图像的信息越丰富。机器视觉市场对高分辨率相机的需求一直是持续增长的。目前主流工业相机的图像分辨率了包含了从640x 480到2592 X 1944,其中80万像素到200像素的工业相机需求最大。相机的高分辨率意味着庞大的数据量,对传输和处理的负担也加大,对整个相机的各方面性能提出了更高的要求。集成化。一体化集成解决方案是工业自动化一直倡导的,在未来几年内机器视觉厂商逐渐向软硬件一体化解决方案的系统集成商迈进,而不单只提供前端的相机产品,提供从前端的相机,到图像处理平台板卡,再到自动化视觉控制设备等全线的视觉产品。
2嵌入式工业相机系统方案
2.1系统框架分析
课题的研究目标是高清晰嵌入式工业相机,嵌入式工业相机系统可分为几个功能模块:光学成像系统、图像传感器及其外围电路、相机核心图像釆集处理系统[5]。前端的光学成像系统在本文中不作讨论,我们相机采用标准的C卡口工业镜头。图像传感器一般是CCD或者CMOS,二者都是实现光强度信号到电信号的转换,从课题需求上来看,需要图像传感器具有较高的分辨率,至少是百万像素级的,并且具有较高的图像质量。另外课题是研究嵌入式工业相机,必须在相机机身具有基本的图像采集处理功能,能通过显示接口实时预览高清画面,支持图像静态存储等能力。我们将图像采集处理系统内部详细的分成如下几个功能模块:信号实时采集模块、图像缓存模块、图像预处理模块、复杂图像数据处理模块、和外部接口模块,如下图2.1所示。信号釆集模块主要作用是将从图像传感器获取到的实时数字图像信号传送给后端图像采集处理核心进行处理。图像预处理模块主要完成色彩空间转换以及一些偏底层并且重复性强的图像处理工作。巾贞缓存控制模块将图像信号送至外部高速RAM存储器实现喊缓存。外部接口主要负责图像的输出和人机交互,包括图像存储、实时预览显示等。系统总体的工作过程如下:图像传感器输出高清图像数据,采集和处理系统完成图像釆集后进行预处理,处理完的图像数据进入作为帧缓存的RAM中,并且相机后端直接连接高清显示器,实时预览高清晰图像,图像同时可以存储在SD卡等存储设备中,也可以发送到网络。
3 FPGA工业相机硬件电路设计.......... 17
3.1硬件系统框架.......... 17
3.2各模块电路设计.......... 17
3.3系统PCB设计.......... 25
4 FPGA工业相机软件系统开发.......... 28
4.1开发环境与工具.......... 28
4.2 SOPC系统逻辑设计.......... 29
4.2.1系统架构 ..........29
4.2.2图像采集接口设计.......... 31
4.2.3图像硬实时预处理算法.......... 32
4.2.4 图像显示接口设计.......... 36
4.3 NiosII应用程序设计.......... 37
5 基于DM365高清工业相机.......... 3
5.1 TMS320DM365 简介.......... 39
5.2基于DM365硬件系统设计.......... 40
5.3基于DAVinci DM365平台软件设计.......... 48
结论
高清晰的嵌入式工业相机是机器视觉发展的新方向,国内在这一领域的关键技术和国外有较大的差距,目前国内还处于探索发展阶段。本文研究了国内外的高清晰的嵌入式工业相机发展现状,通过查阅大量国内外应用案例、数据手册,‘选择了 FPGA和TiDM365作为嵌入式解决方案,完成了基于这两种方案的嵌入式高清工业相机系统的软硬件设计工作。FPGA方案的核心是基于SOPC与 Avalon总线技术的片上图像采集处理系统设计。DM365方案重点是硬件电路的设计、软件开发环境的搭建、驱动程序的移植、顶层应用程序的设计与实现。 .通过两套样机的测试,证明课题所设计实现的两种方案的嵌入式工业相机均能完成高清图像的实时采集、存储、预处理与显示等功能。本文的创新点在于:
(1)比较全面的分析了几种嵌入式解决方案及其应用于相机图像采集处理的优势与不足,针对FPGA和DaVinci这两个具有研究价值的平合展开分析,设计了两套不同特点的嵌入式高清工业相机。
(2)FPGA方案使用单片FPGA芯片,构建了完整的高清图像采集处理片上系统。内嵌硬实时图像预处理模块,自行设计了适用于高清图像采集和显示的IP核,充分利用FPGA并行流水线处理特性和软硬件协同设计特性完成设计。
(3)DM365方案,利用DaVinci强大的视频图像处理技术,实现了本地VGA和Ethernet双路高清视频输出,并且自行设计系统的各硬件PCB板,完成了支持SD卡、USB2.0、VGA、以太网这四种接口的一体化相机的硬件设计。
参考文献
[1].李树杰.中囯机器视觉的发展趋势.赤峰学院学报(自然科学版).2010.1
[2]. 米本和也,陈榕庭,彭美桂等.CCD/CMOS图像传感器基础与应用[M].北京:科学出版社,2006:1-144,208-225.
[3] 杨华,佟首峰.基于FPGA的Bayer到RGB图像格式转换设计[J].现代电子技术,2010
[4]. Ziting Wang, Ping Ning.A Image Capture http://sblunwen.com/gygclw/ and Storage System Based on SOPC[J], CISP2010.
[5],相恒伟.基于FPGA的CCD工业相机研究与开发[D].江南大学硕士学位论文,2009.
[6],余臣.高分辨率高速CMOS相机的硬件设计[D].电子科技大学硕士学位论文
[7],王诚,吴继华.ALTERA FPGA/CPLD设计(基础篇).北京:人民邮电出版社,2005.7
[8],赵釜.基于Cyclonell系列FPGA的图像实时采集与预处理系统研究[D].重庆大学硕士学位论文.2009.
[9]. Stephen Brown. FPGA Architectural of Research: A Survey [J].IEEE Design &Test of Computers, 1996:915-920.
[10]. Texas Instruments Incorporated.DaVinci Technology for Digital Video [M].Sep.2005.