本文是一篇电气自动化论文,本文采用将图像灰度化,以摒弃色彩信息干扰,再对灰度图进行直方图均衡化以增强前景与后景的对比,最后通过高斯滤波等方式降低图像的噪声干扰,实现了PCB图像突出特征,过滤噪声的目的。
第一章 绪论
1.1 课题研究背景及意义
伴随着科学技术的快速发展,越来越多的设备被研发制造出来,极大地改善了人们的生活。而近些年,随着工业时代4.0的到来,工业制造、生产的水平得到了大幅提升,也随之加快了电子产品的更新换代的速度。当前大数据、5G、人工智能等各式各样的全新技术正在火热发展,这些新兴技术的快速发展离不开高性能的工业产品,因此对于底层基础硬件设施的质量以及性能提出了更高的要求。
印刷电路板(Printed circuit board,PCB)是在1936年由奥地利人保罗∙埃斯勒(Paul Eisler)发明出来的,又被称为印刷线路板或印制电路板。它是集成电路(Integrated Circuit,IC)中的重要基础部件,它作为载体进行安装和集成了各种电子元器件,并承载着连接各个电子元器件之间的导线,使其作为一个整体发挥作用,是微电子产品中至关重要的组成部分。PCB技术最早出现在军用收音机当中使用,能够减小设备体积,加快传输速度,但是其技术相对不成熟且造价昂贵,因此在其他领域很难广泛推广。自1950年以来,集成电路技术不断得到发展,集成的复杂程度也由简入深,印刷电路板也随之由小规模生产发展到如今的特大规模。现如今,PCB在各个领域都得到了极为广泛的运用,我们日常生活中使用的智能手机、便携平板电脑等都离不开PCB技术[1]。
电气自动化论文怎么写
...............................
1.2 国内外研究现状
随着图像处理技术和深度学习技术的不断发展,为PCB缺陷检测这一问题提供了新的解决思路。传统的PCB缺陷检测常采用人工裸眼检测、电气检测或红外检测等[5],存在着检测准确率低,容易漏检、误检等问题。通过图像处理技术能够将PCB图像的复杂信息简单化,突出检测的重点部分。再通过深度学习技术替代传统的图像识别能够加快对于PCB图像的缺陷进行识别和分类的准确度和效率[6]。此外,经过全世界不同研究所的努力,提出了很多能够有效实现PCB缺陷检测的算法,而我国在缺陷检测算法仍处于探索阶段,需要继续深入研究。
1.2.1 PCB缺陷检测方法的研究发展
(1)人工检测。PCB缺陷检测最早采用的是由生产线工人裸眼直接目检并手动挑出残次品来完成,如图1-2(a)所示,生产效率极低并且很难满足企业实际的生产质检需求。人工检测主要通过制定统一标准,然后由工作人员按照自己对标准的理解进行检测。不同的人在不同的环境下对于检测标准的理解很难达到一致,PCB大多缺陷细小难以观察,因此工人检测的准确度又受到人眼分辨率和灵敏度的制约,当PCB上电路导线之间的距离小于0.2mm时,人工检测的错误率高达30%以上,导致整个产品报废。并且工作人员在生产间长时间进行工作的状态下,也很容易因为疲劳或厌烦而导致检测结果波动。随着制造企业不断扩大、生产力水平不断提高、生产数量大量提升,人工目测的检测方式已经很难适应企业的生产需求,也被逐步淘汰。
1.2 国内外研究现状 随着图像处理技术和深度学习技术的不断发展,为PCB缺陷检测这一问题提供了新的解决思路。传统的PCB缺陷检测常采用人工裸眼检测、电气检测或红外检测等[5],存在着检测准确率低,容易漏检、误检等问题。通过图像处理技术能够将PCB图像的复杂信息简单化,突出检测的重点部分。再通过深度学习技术替代传统的图像识别能够加快对于PCB图像的缺陷进行识别和分类的准确度和效率[6]。此外,经过全世界不同研究所的努力,提出了很多能够有效实现PCB缺陷检测的算法,而我国在缺陷检测算法仍处于探索阶段,需要继续深入研究。 1.2.1 PCB缺陷检测方法的研究发展 (1)人工检测。PCB缺陷检测最早采用的是由生产线工人裸眼直接目检并手动挑出残次品来完成,如图1-2(a)所示,生产效率极低并且很难满足企业实际的生产质检需求。人工检测主要通过制定统一标准,然后由工作人员按照自己对标准的理解进行检测。不同的人在不同的环境下对于检测标准的理解很难达到一致,PCB大多缺陷细小难以观察,因此工人检测的准确度又受到人眼分辨率和灵敏度的制约,当PCB上电路导线之间的距离小于0.2mm时,人工检测的错误率高达30%以上,导致整个产品报废。并且工作人员在生产间长时间进行工作的状态下,也很容易因为疲劳或厌烦而导致检测结果波动。随着制造企业不断扩大、生产力水平不断提高、生产数量大量提升,人工目测的检测方式已经很难适应企业的生产需求,也被逐步淘汰。
.........................
第二章 基于图像处理的全局缺陷检测
2.1 PCB缺陷图像数据集
对于PCB的检测标准有很多,目前被业界广泛接受的是来自于美国电子电路和电子互连行业协会所制定的IPC标准(Iastitue for Printed Circuits),该标准对于PCB的生产过程各个阶段都建立了若干验收子标准,其中IPC-A-600标准[33]则主要针对的是PCB裸板的表面外观的验收条件,即外部可观察特征,具体的缺陷分类如下表2-1所示:
本文将在IPC-A-600标准的基础上制定缺陷检测标准。PCB图像数据集来自于北京大学智能机器人开放实验室免费公开提供的印刷电路板(PCB)瑕疵数据集(http://robotics.pkusz.edu.cn/resources/dataset/)。该数据集共包含1386张具有多种不同缺陷类型的原始PCB图像,用于PCB图像的缺陷检测、分类和定位等问题的研究。本文从该数据集中选取了包含以下六种缺陷类型的原始PCB图像数据集作为实验数据集:缺孔(missing hole)、鼠咬(mouse bite)、断路(open circuit)、短路(short)、毛刺(spur)和多铜(spurious copper),如图2-1所示。
电气自动化论文参考
..........................
2.2 图像增强
图像增强指的是将图像中的与目标相关的关键信息突出出来,而对于与目标无关的信息尽可能去除的过程。对于在工业环境下采取工业相机拍摄得到的PCB缺陷图像,常常存在亮度过亮导致的某些细节曝光过度失真,或亮度过低导致细节信息丢失等问题,而噪声的存在也会影响到图像识别的过程。图像增强就是在不增加噪声的情况下,提高整体和局部之间的对比度,从而使图像中有用的信息更加凸显出来,以便于人眼或机器进行观察识别。常用的图像增强的手段有图像灰度化、灰度直方图均衡化和降噪滤波。
2.2.1 图像灰度化
经过灰度化处理之后,PCB缺陷原始图像转换为单通道的灰色图像,失去了颜色信息,更加突出了前景与后景、整体与局部的亮度信息对比。从图2-2(b)可以看出PCB灰度图像中的孔、线信息并没有损失,并且对于该图像中的缺陷信息“缺孔”更加清晰表现出来。采用灰度图像能够更加清晰地反映PCB图像中的缺陷信息。
直方图均衡化[38]是图像处理中一种常用于增强图像信息的技术,该技术的原理是对于图像中像素个数较多的灰度值进行展宽,而对于像素个数较少的灰度值进行归并,从而增强整幅图像的对比度,使图像清晰,达到增强的目的。所以该技术的关键就是建立一种灰度图像与灰度直方图均衡化图像之间的映射关系。
............................
第三章 基于卷积神经网络的PCB缺陷检测 ........................... 27
3.1 人工神经网络 .................................... 27
3.1.1 感知器与多层感知器 ............................... 27
3.1.2 反向传播算法 .................................. 28
第四章 基于Faster-RCNN的PCB缺陷目标检测 ......................... 45
4.1 目标检测算法 ..................... 45
4.1.1 two-stage网络 ............................... 45
4.1.2 one-stage网络 .............................. 47
第五章 主要结论与展望 .................... 60
5.1 主要结论 ................................ 60
5.2 展望 ........................ 61
第四章 基于Faster-RCNN的PCB缺陷目标检测
4.1 目标检测算法
目标检测算法最早发源于20世纪末21世纪初,经过近二十年的不断发展,目标检测算法也得到不断改进,由早期的基于人工手动标注的传统方法,例如Hog特征结合SVM算法、Hear特征结合Adaboost算法和DPM算法等等,传统算法无论是在特征的提取还是定位框标记等问题上都难以满足需求,已经逐步淘汰。随着深度学习的大力发展,如今基于深度学习的目标检测算法[65]成为主流,例如R-CNN算法、YOLO算法、SSD算法等,相比于传统算法,基于深度学习的目标检测算法具备特征提取质量高、检测准确度高、检测速率高等优势,因此得到广泛应用。根据检测模式的不同,基于深度学习的目标检测算法可以分为以YOLO[66]为代表的one-stage网络[67]和以R-CNN系列算法为代表的two-stage网络。
电气自动化论文参考
...................................
第五章 主要结论与展望
5.1 主要结论
本文以印刷电路板(PCB)瑕疵图像为研究对象,针对大规模的PCB图像数据集缺陷检测困难的问题,提出了一种基于图像处理、Resnet101-finetune特征提取和改进Faster-RCNN的PCB图像缺陷检测算法。相比于传统的基于图像处理的特征提取或onestage目标检测算法,本文提出的缺陷检测算法在检测的准确率、检测时间、学习能力、鲁棒性等方面都得到了较大提升,不仅对电子产业的缺陷检测具有现实意义,而且对于图像数据处理领域具有研究意义。本文主要的工作内容以及研究成果如下:
(1)对于原始的PCB图像,往往因成像条件不同导致图像特征不明显,并伴随产生很多噪声,不能直接用于特征提取。本文采用将图像灰度化,以摒弃色彩信息干扰,再对灰度图进行直方图均衡化以增强前景与后景的对比,最后通过高斯滤波等方式降低图像的噪声干扰,实现了PCB图像突出特征,过滤噪声的目的。
(2)预处理之后得到的PCB图像可以首先通过机器视觉图像处理技术进行缺陷的全局检测和初步定位。基于参照对比算法,使用SURF算法提取PCB标准图像和缺陷图像各自的特征点,并对特征点进行匹配实现图像配准,再用阈值分割将图像处理成二值图,随后进行图像差分,便可以得到缺陷图像中包含的缺陷信息,通过形态学处理让缺陷更加清晰,以实现对PCB图像的初步检测和定位。
(3)传统的基于图像处理提取的PCB图像特征不明显,基于深度学习方法对PCB图像进行特征提取有效提高了特征提取的质量。传统的残差神经网络Resnet101有效解决了网络层数过深带来的梯度弥散问题,但是低网络层高分辨率对图像语义特征提取不足,高网络层低分辨率对图像细节特征提取不足,本文提出多尺度特征融合的方式改进网络,以提升特征提取的质量,形成了Resnet101-finetune网络。通过迁移学习的方式在PCB图像数据集上训练该网络并进行验证,实验结果表明改进后的Resnet101-finetune神经网络的平均准确率达到了94.2%,相比于其他图像处理方法或神经网络均得到明显提升。
参考文献(略)