发布时间：2022-04-21所属分类：电工职称论文浏览：1次
摘 要： 摘 要：目前微型扁平电机制造厂仍采用人工观察法对电机 FPC 板焊点的焊接质量进行检测，其检测准确率低、速度慢。针对这一问题，提出了一种基于改进 Faster R-CNN 的缺陷分类检测方法。首先通过多尺度特征融合网络对 VGG16 的最后两层网络进行融合后，代替原 Faster R-
摘 要：目前微型扁平电机制造厂仍采用人工观察法对电机 FPC 板焊点的焊接质量进行检测，其检测准确率低、速度慢。针对这一问题，提出了一种基于改进 Faster R-CNN 的缺陷分类检测方法。首先通过多尺度特征融合网络对 VGG16 的最后两层网络进行融合后，代替原 Faster R-CNN 中区域候选网络的输入特征图，然后从三个不同深度的多尺度特征融合算法比较改进后网络的准确率、召回率和分数。试验结果表明：改进后的两层多尺度融合特征图代入模型，其缺陷分类检测准确率均值为 91.89%，比传统模型增加了 7.72%;与其他二种模型相比，改进后的模型分类检测准确率和精度是最高的。
关键词：扁平电机;缺陷分类检测;Faster R-CNN;深度学习;多尺度特征融合
0 引 言
微型扁平电机主要由电刷组件、转子和上下机壳组件构成，是一种常用于电子设备中提供振动和触觉反馈的微型零件[1-2]。在电机生产过程中，扁平电机内置的软性线路(Flexible printed circuit，FPC)板上焊有电刷组件，而焊点表面质量直接影响着整个电机的性能。目前，电机厂家仍采用人工观察法来把控焊点品质，费时耗力，检测手段也会由于光线质量、人眼疲劳等因素而产生检测误差，从而导致检测准确率和有效性的下降。因此，开发一种识别和定位 FPC 表面焊点缺陷的检测系统及高效的检测方法对制造微型扁平电机是非常有意义的。
近年来，随着深度学习技术的发展，基于卷积神经网络(Convolutional neural network，CNN)的目标检测算法被广泛应用于很多领域[3-5]，如铝型材表面检测、农产品识别、储粮害虫检测等。深度学习模型通过自主提取图中的高维信息，避免了传统方法中繁琐的图像处理步骤，所以不少学者试图将深度学习应用于不规则表面缺陷检测中。例如，Maestro 等[6]提出了一种基于 U-Net 的全卷积神经网络，用于对反射表面缺陷的语义分割，该网络利用局部曲率和数据调制进行像素级别分类，以确定缺陷的位置和边界，并在工业环境中取得了出色的识别效果。Park 等[7]通过构建具有不同深度和层结点的网络来检测产品表面的污垢和划痕，取得了令人满意的效果。Zhao 等[8]通过提取目标物的区域特征来训练反向传播网络和支撑向量机(Support vector machine， SVM)分类器，有效了分割了缺陷区域。Xu 等 [9]人提出了一种 Faster R-CNN 模型，结合不同层的特征和 Soft-NMS 算法来检测隧道中的缺陷。虽然这些基于深度学习的缺陷检测方法具有先进的识别性能，但对于不同轮廓的微小缺陷，它们的定位精度表现得很差。
根据以上研究，针对微型扁平电机 FPC 板焊点的多种缺陷检测，目前没有高效、精确的检测算法。因此本文提出一种融合多尺度特征图作为 Faster R-CNN 模 型 中 的 区 域 候 选 网 络(Regional proposal network，RPN)的输入特征图，同时实现微型扁平电机 FPC 板焊点缺陷区域的提取和分类。
1 数据采集和预处理
本文采用的图像采集设备为大恒水晶 MER-500 系列数字相机，配有日本 CCTV 高精度 25mm 焦距光学镜头，光源选用 OPT 公司的 40×40 的同轴光源。其中，镜头到扁平电机的高度为 150mm，可以达到的视场宽度为 25mm，被检 测 样 品 的 直 径 为 10mm 。 试 验 中 ， 选 择 TensorFlow 作为深度学习的框架，检测模型在 Intel Core I7-8700 CPU, NVIDIA GTX-1070 GPU, 16G 内存的 PC 机上运行，图 1 为 FPC 焊点图像采集系统。
2 FPC 表面焊点缺陷检测算法
2.1 Faster R-CNN 网络
经典的 Faster R-CNN 网络模型包含四个模块，即特征提取(Feature extraction)、区域候选网络(Regional proposal network，RPN)、感兴趣区域池化(ROI pooling)、分类和回归(Target classification and positioning)[12-13]，如图 3 所示。第一模块为网络提供特征图，第二模块 RPN 层网用于生成区域候选框，第三个模块得到固定大小的候选特征图，为后面的全连接操作做准备。最后一个模块进行缺陷类别的分类和定位。
相关知识推荐：焊接工艺方面论文发哪些期刊
在 Faster R-CNN 网络中，RPN 网络首先要先计算出一系列大小各异的候选区域，同时要对候选区域进行精确分类及其位置坐标判断[14]。由于候选区域大小各异，需要归一化处理，才能输入下一层的卷积神经网络。为了提高缺陷的识别精度，区域候选网络模型(RPN)直接利用全网络的卷积特征图识别 FPC 焊点图像。这种特征提取网络是 16 倍下采样处理，利用最近邻插值法产生了大小不等的像素位置偏移，导致网络模型处理产生了偏差，偏差将会影响缺陷位置分割的准确度。
2.2 改进的特征图算法设计
Faster-RCNN 网络的特征图提取网络有两种形式：ZF 网络和 VGG 网络[15]。实际操作中，需充分考虑工业相机拍摄图像的全局特征和局部特征来提取 FPC 表面焊点的特征值，故本文选择具有深度网络层和较大修改空间的 VGG16 网络作为特征提取网络，其网络结构如图 4 所示。
在 Faster R-CNN 中，RPN 层收到的特征图是 Conv5_3 的输出矩阵。这种特征可以更好地表示缺陷的轮廓信息，获得更准确的定位结果，但对于类间差异较小的微细差别样本，如图 1 所示的 4 种样本分类，该特征的检测效果并不理想，其原因是对于微细缺陷来说，抽象度高的特征表达能力太低。因此，本文通过 VGG16 网络最后两层的特征进行融合再检测，使新生成的特征图包含缺陷的全局和局部特征，来解决特征表达能力低的问题。
文献[16]指出更深的网络可以实现更高的召回率，但定位精度不是最优的，浅层网络虽可以获得更详细的特征和较高的定位精度，但召回率更低。由于 FPC 表面焊点的夹渣、脱落、堆积、虚焊等缺陷尺寸小且形状不规则，如果直接使用常规的 RPN 网络，可能会出现缺陷位置的错位和漏检。神经元的感受野越大，可以获取的原始图像的范围就越大，即神经元中包含的特征越抽象，语义水平就越高;感受野越小，感受野中的特征就越倾向于局部和细节[17-18]。
为了比较 Faster R-CNN 与改进后模型的收敛性，选用前 10000 次迭代训练中的识别准确率进行比较。两次试验具有相同的超参数，学习率为 3 10 ，权重衰减率为 4 5 10。每隔 100 代采用随机梯度下降算法进行优化处理，两种模型的检测性能曲线如图 7 所示。从图中可以看出，改进的 Faster R-CNN 模型率先获得 90%以上的识别准确率，这是由于在训练初期由于新生成的锚箱符合被检测对象的形态特征，故缺陷的定位精度较高，算法的收敛速度较快。进入稳定阶段后，改进后的 Faster R-CNN 模型的识别效果优于原模型，且精度保持在 90%以上，这说明改进后的模型对具有相似轮廓的微小缺陷的感知能力相对较强，从而提高了模型的识别精度。进一步地，改进后的模型的识别准确率均值为 91.89%，比原模型增加了 7.72%。
最后，将改进的 Faster R-CNN 与 SVM[20]、 YOLO-V3[21]以及经典的 Faster R-CNN 进行比较。表 3 至表 6 分别给出了四种模型对微型扁平电机焊点夹渣、焊点脱落、焊料堆积和虚焊四种缺陷的检测结果。从表中可以看出，本文所提的模型具有最好的检测性能;由于只提取了图像的浅层特征，故 SVM 对微小缺陷的检测性能最差;从检测时间上看，YOLO-V3 的检测速度最快，但检测精度和召回率都太低，实用性不理想。然而，由于扁平电机生产线的运行速度较低，故综合考虑检测精度和检测时间，本文所提改进的 Faster R-CNN 是最佳的缺陷分类方案。
此外，为了让微型扁平电机 FPC 表面焊点缺陷的检测结果更直观地展示出来，图 8 给出了其他三种模型与改进的 Faster R-CN 模型对于不同焊点缺陷的检测结果比较。从结果可以看出，改进的 Faster R-CN 模型具有较高的准确性和精度。
4 结束语
本文提出了一种基于改进的 Faster R-CNN 模型的微型扁平电机 FPC 表面焊点质量的检测方法。为了克服传统 Faster R-CNN 模型检测微小焊点存在的错位和漏检现象，采用一种多尺度特征融合的检测模型，将不同感受野的特征图组合作为 RPN 层的输入，充分考虑缺陷的全局和局部特征，提高模型的检测性能。试验结果表明，改进后的 Faster R-CNN 模型的检测精度优于原模型，其识别准确率均值可达 91.89%，比原模型增加了 7.72%。另外，改进后的 Faster R-CNN 模型的检测精度也优于 SVM 和 YOLO-V3，且能够满足微型扁平电机 FPC 表面焊点质量检测的工程需求。——论文作者：郁岩 1，齐继阳 2
参考文献
[1] Wang B, Hu S J, Sun L, et al. Intelligent welding system technologies: State-of-the-art review and perspectives[J]. Journal of Manufacturing Systems, 2020, 56: 373-391.
[2] Wang Q, Jiao W, Wang P, et al. A tutorial on deep learning-based data analytics in manufacturing through a welding case study[J]. Journal of Manufacturing Processes, 2021, 63: 2-13.
[3] 牟欣颖, 何赟泽, 王洪金, 等. 基于一维卷积神经网络的联动扫描热成像缺陷自动识别与深度回归[J]. 电子测量与仪器学报, 2021, 35(04): 211-217.
[4] 曹红燕, 沈小林, 刘长明,等. 改进的 YOLOv3 的红外目标检测算法[J]. 电子测量与仪器学报, 2020, 32(8):7.
[5] Tabernik D, Šela S, Skvarč J, et al. Segmentation-based deep-learning approach for surface-defect detection[J]. Journal of Intelligent Manufacturing, 2020, 31(3): 759-776.
[6] Maestro-Watson D, Balzategui J, Eciolaza L, et al. Deflectometric data segmentation based on fully convolutional neural networks[C]//Fourteenth International Conference on Quality Control by Artificial Vision. International Society for Optics and Photonics, 2019, 11(7): 20-29.
[7] Park J K, Kwon B K, Park J H, et al. Machine learning-based imagingsystem for surface defect inspection[J]. International Journal of Precision Engineering and Manufacturing-Green Technology, 2016, 3(3): 303-310.
[8] ZHAO T, GUAN S, WANG P. A steel defect image segmentation method based on target’s area characteristic analysis[J]. Journal of Xi'an Polytechnic University, 2015, 29: 477-481.
[9] Xu X, Lei Y, Yang F. Railway subgrade defect automatic recognition method based on improved faster R-CNN[J]. Scientific Programming, 2018: 1-12.
[10] Ren S, He K, Girshick R, et al. Faster r-cnn: Towards real-time object detection with region proposal networks[J]. Advances in neural information processing systems, 2015, 28: 91-99.
[11] Baumgartl H, Tomas J, Buettner R, et al. A deep learning-based model for defect detection in laser-powder bed fusion using in-situ thermographic monitoring[J]. Progress in Additive Manufacturing, 2020: 1-9.
[12] Minaee S, Kafieh R, Sonka M, et al. Deep-covid: Predicting covid-19 from chest x-ray images using deep transfer learning[J]. Medical image analysis, 2020, 65: 101-116.
SCISSCIAHCI
