第一章 绪论
1.1研究背景与意义
作为快速发展的现代交通方式，高速铁路在促进我国经济流动和贸易发展的同时，也促进了人口和企业的流动，使得小城市也可以和周边主要的中心城市同步发展。截止到 2019 年年底，中国高速铁路运营里程将达到 3.5 万公里，运行速度也到达了 350km/h，其中今年新开通的高铁将超过 5000 公里，这也是近四年来开通高铁最多的一年。自 2007 年第一辆“和谐号”从上海开往苏州投入运营始，再到 2017 年，具有完全自主知识产权的“复兴号”高铁问世，这些成就标志着我国铁路成套技术装备特别是高铁技术已经走在了世界前沿。预计 2030年，动车运用所将达到 2000 所，高速列车保有量将达到 5000 标准组左右。随着高速列车的快速发展，其带来的安全隐患也日益突出，如何确保其安全稳定运行成为该领域研究的热点问题。由于列车高速行驶的特性，使得它对内部因素和外部环境格外敏感，任何轻微故障和隐患如果不能及时发现都有可能导致连锁反应事故的发生，甚至引发灾难性后果。在 2011 年2 月 10 日，一辆从釜山开往首尔的 KTX 高速列车在光明站附近发生脱轨事故，共有三节车厢脱离轨道，所幸事故没有造成人员伤亡，据调查其事故原因是一个螺丝没有上紧。同年 7月，运营 11 天的京沪高铁因供电设备故障，导致列车抛锚，造成站点周围列车大面积晚点[1]。根据上述两则事故的发生原因可知，列车故障是引发事故的隐患之一，因此针对高速列车平时的养护和检修工作是十分必要的。
目前我国在高速列车的检修部分，仍以人工检修为主。由于高速列车通常是由八编组或者十六编组构成，车身较长，检修范围大，拥有超过 1 万个螺栓需要检测，所以存在较高的漏检风险。以八编组列车的检修为例，检修的零部件超过 1 万个，检修工人检查一辆列车平均需要弯腰 300 多次，敲击 5000 多次[2]，且检修时间大多在凌晨深夜，检修工人在长时间，高负荷的工作情况下，容易产生视觉疲劳，导致作业效率低，甚至造成漏检，误检情况的发生，作业质量无法得到保障。铁路总局指定的 CRH380 作业指导书规定[3]，标准检修用时应为 2.5 小时，每日需检修 80 余列。随着高速列车保有量的不断增长，工人检修效率与无法快速增长的检修能力间的矛盾越来越大，使得开展智能检测迫在眉睫。
............................
1.2国内外研究现状
高铁技术发达的国家主要集中在中国，德国，日本，韩国以及美国。国外以日本新干线为例，JR 东日本铁路公司对于列车检修任务分为：日常检查，定期检查，转向架检查和厂修检查，其中螺栓的检测部分还是采取人工检测[13]。通过装载在车上的 ATC(列车自动控制)收集车辆数据，在入厂返修时针对设备以及螺栓等零件的状态变化评估剩余寿命，并确定下次最迟检修时间。对于铁路螺栓检测，文献[14]提出了将离散小波处理后的图像数据送入 2 个多层感知器构成的神经网络(MLPNC)完成螺栓检测，文献[15]提出了一种基于局部二值化(LBP)和 Gabor-GA 的优化理论，利用遗传算法(GA)对 Gabor 小波变化的图像进行权重优化，最后通过支持向量机(SVM)完成分类任务，文献[16]提出基于灰色投影和空间滤波器对螺栓区域进行定位，结合梯度特征信息提取螺栓的准确位置，根据丢失螺栓的图像设计了类似 Haar 的特征描述符，最后完成基于 AdaBoost 算法的分类器实现螺栓丢失检测。文献[17]提出基于快速模板匹配(FTM)的方法来定位特定几何形状的螺栓，再用最近邻分类器确定螺栓的位置，并利用 GPU 加速完成。文献[18]使用梯度方向直方图(HOG)特征定位螺栓所在的锁板位置，在使用线段检测器(LSD)提取直线段构成直线段数据集，再利用线性模式确定锁板的工作状态。
......................
第二章 深度学习相关理论
2.1深度学习的发展历程
自从 1956 年，人工智能的概念在美国达特茅斯会议诞生以来，已经发展了 64 年了。人工智能的研究覆盖面非常之广泛，从人类智能模式的抽象和实现角度分析，可以划分为认识建模、知识表示、知识推理和机器感知、机器思维、机器学习、机器行为两大类。而机器学习是人工智能的一个重要分支，在 60 余年的发展历程中出现了不少经典的算法和框架，包括决策树算法(decision tree)，贝叶斯学习(bayesian learning)，概念学习(concept learning)，支持向量机(support vector machine，SVM)，增强学习与动态规划(dynamic programming)，遗传算法(genetic algorithm)，人工神经网络(Artificial Neural Networks,ANN)等等[28]。虽然第一个神经元早在 1943 年就被科学家发明，然而却因为连最简单的异或问题都无法解决而被忽视。直到 1986 年杰弗里-辛顿(Geoffrey Everest Hinton)提出了著名的反向传播算法(Backpropagationalgorithm，BP 算法)，才让多层人工神经网络得以解决模式识别和预测问题。他在 2006 年提出深度神经网络的模型，证明了如果能将网络层数加深，搭配上精心设计的网络，可以让网络具备超强的表达能力和学习能力。在 2012 年的 ImageNet 图像分类大赛中，辛顿团队设计了一个深度神经网络 AlexNet，将错误率从 25%下降到 17%，从此深度学习开始进入人们的视野，并且广泛地应用在数字图像处理领域，来解决诸如图像着色、图像分类、图像分割等问题。在 2016 年 3 月，DeepMind 团队在围棋领域开发出了著名的 AlphaGo，并以 4:1 的比分击败人类围棋冠军。AlphaGo 的成功标志着深度学习已经成为新一代人工智能重要研究方向，也标志着人工智能全新时代的到来。
...........................
2.2深度学习的基本原理
2.2.1 基本的神经网络模型
深度学习起源于神经网络，其研究受生物学的神经元启发。神经网络模型和生物的神经元网络构造大体相似，也是由一系列简单的神经元相互连接构成，每一个神经元都有一定数量的输入和输出[29]。神经网络可以通过监督学习获得数据与标签之间的某种映射关系，从而解决线性回归或者逻辑回归问题[30]。例如根据多种因素预测复杂的房价走势，我们可能无法用一个准确的数学表达式去描述这个映射关系，但是神经网络提供了一种可以无限逼近实数值，离散值或向量值的方法来模拟这个映射关系。通过适当的参数调校，一个三层的神经网络可以模拟任何非线性的函数或者映射。如图 2.1，每一个圆圈代表了一个人工神经元，又叫做感知机。一个简单的三层神经网络由输入层，隐藏层和输出层组成，其中隐藏层可以由多层组合，定义超过三层的神经网络都可以被称为深度神经网络。
图 2.1 简单的三层神经网络模型
第三章 高速列车底部螺栓定位方法 ...................... 18
3.1基于深度学习的目标检测算法 ................ 18
3.1.1 Faster R-CNN 的研究............................ 18
3.1.2 SSD 的研究.............................. 21
第四章 高速列车底部螺栓缺陷检测方法 ........................... 40
4.1改进的 VGG16 网络模型...................... 40
4.1.1 神经网络的剪枝 .............................. 41
4.1.2 替换全连接网络 ............................... 43
第五章 总结和展望.......................... 53
5.1全文总结........................... 53
5.2展望........................... 54
第四章 高速列车底部螺栓缺陷检测方法
4.1改进的 VGG16 网络模型
VGG16 网络是比较成熟的一种网络结构，相比较 AlexNet 来说，层次更深，能够挖掘到更多的语义信息，训练效果也更好。它曾在 ImageNet 图像分类和定位挑战赛中获得了图像分类第二名，目标定位第一名的好成绩。之所以被称为 VGG16 是因为它分别由 2 层 64 维度、2 层 128 维、3 层 256 维、6 层 512 维的 3*3 卷积以及 3 层全连接层构成，共计 16 层网络，如图 4.1 所示。VGG16 的优点是采用多层小卷积代替一个大卷积，一方面减少了网络参数，另一方面可以加深网络层数，有更好的识别鲁棒性。但是它也存在一些缺点，例如训练周期长，耗费更多的 GPU 计算力，生成的权重文件较大，不利于安装到嵌入式设备中。据统计，一个十分类的 VGG16 权重参数，包括卷积层和全连接层，拥有多达 138357544 个参数，其中全连接层的参数共有 123642856 个，占 VGG16 所有权重的 89.36%，因此本文从卷积层和全连接层的优化角度出发，在维持较高的准确率的同时，降低权重文件大小，降低模型计算的时间复杂度和空间复杂度，提高高速列车底板螺栓缺陷检测的模型的检测效率。
图 4.1 标准 VGG16 结构图
第五章 总结和展望
5.1全文总结
本文的研究对象是高速列车的底板螺栓缺陷检测，目前我国正在使用的高铁故障识别检测系统是 TEDS 系统，主要采用的是传统图像算法中的 SIFT 图像配准方法，突出的问题是误报和漏报率较高，所以高铁的检修方案仍然是以人工检修为主，TEDS 预警为辅，这也导致了当前高铁检修效率的低下。人工智能技术的不断发展，推动着高铁检修从“人检”向“机检”发展。无论是 ImageNet上夺冠的卷积神经网络，还是战胜人类围棋冠军的 AlphaGo，都将解决方案的技术指向了深度学习。本文针对高铁检测面临的问题，提出了基于深度学习的缺陷检测方案，可以提供更快的检测速度和更高的检测精度。本文的主要工作有以下三大部分：
（1） 重点分析了目前我国高速列车的检修现状及存在的问题，研究了近年来国内外专家学者针对高速铁路列车的紧固件故障检修方案。阐述了深度卷积神经网络概念，包括卷积，池化和激活等主要过程，并分析它们与传统图像处理的优势。最后分析了现代常用的经典网络模型，为后文选择合适的网络模型进行训练作好理论铺垫。
（2） 基于高速列车底板螺栓数据集训练了三类目标检测模型并加以改进分析。当前主流的目标检测算法有两阶段的 Faster R-CNN，单阶段的 SSD 和 Yolo 系列算法。一个良好的神经网络模型往往离不开大量训练样本的支持，为了能够探索适合高速列车底板螺栓数据集的目标检测算法，本文利用专业的标图软件 labelImg 制作高速列车的底板标注数据集，共计 13239 张，分别实现了三种目标检测算法并分析，综合算法的检测精度，召回率和单张图片的检测速度选出最佳的目标检测框架。为了能够让先验知识的作用发挥到最大，让 anchor 与真实框更贴近，提出了基于 k-means++的遗传算法，并对 anchor 改进前后的性能进行对比分析。
（3） 基于网络模型压缩的基础上训练 VGG16 完成螺栓缺陷检测。在具体的模型微调训练中，引入数据增强扩展负样本，解决了螺栓样本不均衡的问题，同时引入 warm-up 的预热学习率，通过和其他学习率的对比实验，选出最为合适的学习衰减策略。针对神经网络权重过大检测效率较低的问题，对 VGG16 网络进行了两种改进。第一种采用全局平均池化替代全连接层，让最后一层的 feature map 与最终的分类直接相联系。第二种是采用网络剪枝，将 VGG16 中对网络预测贡献度较低的卷积核剔除：借鉴 Oracle剪枝策略，通过评估每一个卷积核对网络输出的贡献度来衡量它在网络中的重要性，最终实现网络压缩的同时，提高网络的检测效率。
参考文献（略）