發(fā)布時間：所屬分類：電工職稱論文瀏覽：1次
摘 要： 摘 要：目前微型扁平電機制造廠仍采用人工觀察法對電機 FPC 板焊點的焊接質(zhì)量進行檢測，其檢測準確率低、速度慢。針對這一問題，提出了一種基于改進 Faster R-CNN 的缺陷分類檢測方法。首先通過多尺度特征融合網(wǎng)絡對 VGG16 的最后兩層網(wǎng)絡進行融合后，代替原 Faster R-
摘 要：目前微型扁平電機制造廠仍采用人工觀察法對電機 FPC 板焊點的焊接質(zhì)量進行檢測，其檢測準確率低、速度慢。針對這一問題，提出了一種基于改進 Faster R-CNN 的缺陷分類檢測方法。首先通過多尺度特征融合網(wǎng)絡對 VGG16 的最后兩層網(wǎng)絡進行融合后，代替原 Faster R-CNN 中區(qū)域候選網(wǎng)絡的輸入特征圖，然后從三個不同深度的多尺度特征融合算法比較改進后網(wǎng)絡的準確率、召回率和分數(shù)。試驗結(jié)果表明：改進后的兩層多尺度融合特征圖代入模型，其缺陷分類檢測準確率均值為 91.89%，比傳統(tǒng)模型增加了 7.72%;與其他二種模型相比，改進后的模型分類檢測準確率和精度是最高的。
關鍵詞：扁平電機;缺陷分類檢測;Faster R-CNN;深度學習;多尺度特征融合
0 引 言
微型扁平電機主要由電刷組件、轉(zhuǎn)子和上下機殼組件構(gòu)成，是一種常用于電子設備中提供振動和觸覺反饋的微型零件[1-2]。在電機生產(chǎn)過程中，扁平電機內(nèi)置的軟性線路(Flexible printed circuit，F(xiàn)PC)板上焊有電刷組件，而焊點表面質(zhì)量直接影響著整個電機的性能。目前，電機廠家仍采用人工觀察法來把控焊點品質(zhì)，費時耗力，檢測手段也會由于光線質(zhì)量、人眼疲勞等因素而產(chǎn)生檢測誤差，從而導致檢測準確率和有效性的下降。因此，開發(fā)一種識別和定位 FPC 表面焊點缺陷的檢測系統(tǒng)及高效的檢測方法對制造微型扁平電機是非常有意義的。
近年來，隨著深度學習技術(shù)的發(fā)展，基于卷積神經(jīng)網(wǎng)絡(Convolutional neural network，CNN)的目標檢測算法被廣泛應用于很多領域[3-5]，如鋁型材表面檢測、農(nóng)產(chǎn)品識別、儲糧害蟲檢測等。深度學習模型通過自主提取圖中的高維信息，避免了傳統(tǒng)方法中繁瑣的圖像處理步驟，所以不少學者試圖將深度學習應用于不規(guī)則表面缺陷檢測中。例如，Maestro 等[6]提出了一種基于 U-Net 的全卷積神經(jīng)網(wǎng)絡，用于對反射表面缺陷的語義分割，該網(wǎng)絡利用局部曲率和數(shù)據(jù)調(diào)制進行像素級別分類，以確定缺陷的位置和邊界，并在工業(yè)環(huán)境中取得了出色的識別效果。Park 等[7]通過構(gòu)建具有不同深度和層結(jié)點的網(wǎng)絡來檢測產(chǎn)品表面的污垢和劃痕，取得了令人滿意的效果。Zhao 等[8]通過提取目標物的區(qū)域特征來訓練反向傳播網(wǎng)絡和支撐向量機(Support vector machine， SVM)分類器，有效了分割了缺陷區(qū)域。Xu 等 [9]人提出了一種 Faster R-CNN 模型，結(jié)合不同層的特征和 Soft-NMS 算法來檢測隧道中的缺陷。雖然這些基于深度學習的缺陷檢測方法具有先進的識別性能，但對于不同輪廓的微小缺陷，它們的定位精度表現(xiàn)得很差。
根據(jù)以上研究，針對微型扁平電機 FPC 板焊點的多種缺陷檢測，目前沒有高效、精確的檢測算法。因此本文提出一種融合多尺度特征圖作為 Faster R-CNN 模 型 中 的 區(qū) 域 候 選 網(wǎng) 絡(Regional proposal network，RPN)的輸入特征圖，同時實現(xiàn)微型扁平電機 FPC 板焊點缺陷區(qū)域的提取和分類。
1 數(shù)據(jù)采集和預處理
本文采用的圖像采集設備為大恒水晶 MER-500 系列數(shù)字相機，配有日本 CCTV 高精度 25mm 焦距光學鏡頭，光源選用 OPT 公司的 40×40 的同軸光源。其中，鏡頭到扁平電機的高度為 150mm，可以達到的視場寬度為 25mm，被檢 測 樣 品 的 直 徑 為 10mm 。 試 驗 中 ， 選 擇 TensorFlow 作為深度學習的框架，檢測模型在 Intel Core I7-8700 CPU, NVIDIA GTX-1070 GPU, 16G 內(nèi)存的 PC 機上運行，圖 1 為 FPC 焊點圖像采集系統(tǒng)。
2 FPC 表面焊點缺陷檢測算法
2.1 Faster R-CNN 網(wǎng)絡
經(jīng)典的 Faster R-CNN 網(wǎng)絡模型包含四個模塊，即特征提取(Feature extraction)、區(qū)域候選網(wǎng)絡(Regional proposal network，RPN)、感興趣區(qū)域池化(ROI pooling)、分類和回歸(Target classification and positioning)[12-13]，如圖 3 所示。第一模塊為網(wǎng)絡提供特征圖，第二模塊 RPN 層網(wǎng)用于生成區(qū)域候選框，第三個模塊得到固定大小的候選特征圖，為后面的全連接操作做準備。最后一個模塊進行缺陷類別的分類和定位。
相關知識推薦：焊接工藝方面論文發(fā)哪些期刊
在 Faster R-CNN 網(wǎng)絡中，RPN 網(wǎng)絡首先要先計算出一系列大小各異的候選區(qū)域，同時要對候選區(qū)域進行精確分類及其位置坐標判斷[14]。由于候選區(qū)域大小各異，需要歸一化處理，才能輸入下一層的卷積神經(jīng)網(wǎng)絡。為了提高缺陷的識別精度，區(qū)域候選網(wǎng)絡模型(RPN)直接利用全網(wǎng)絡的卷積特征圖識別 FPC 焊點圖像。這種特征提取網(wǎng)絡是 16 倍下采樣處理，利用最近鄰插值法產(chǎn)生了大小不等的像素位置偏移，導致網(wǎng)絡模型處理產(chǎn)生了偏差，偏差將會影響缺陷位置分割的準確度。
2.2 改進的特征圖算法設計
Faster-RCNN 網(wǎng)絡的特征圖提取網(wǎng)絡有兩種形式：ZF 網(wǎng)絡和 VGG 網(wǎng)絡[15]。實際操作中，需充分考慮工業(yè)相機拍攝圖像的全局特征和局部特征來提取 FPC 表面焊點的特征值，故本文選擇具有深度網(wǎng)絡層和較大修改空間的 VGG16 網(wǎng)絡作為特征提取網(wǎng)絡，其網(wǎng)絡結(jié)構(gòu)如圖 4 所示。
在 Faster R-CNN 中，RPN 層收到的特征圖是 Conv5_3 的輸出矩陣。這種特征可以更好地表示缺陷的輪廓信息，獲得更準確的定位結(jié)果，但對于類間差異較小的微細差別樣本，如圖 1 所示的 4 種樣本分類，該特征的檢測效果并不理想，其原因是對于微細缺陷來說，抽象度高的特征表達能力太低。因此，本文通過 VGG16 網(wǎng)絡最后兩層的特征進行融合再檢測，使新生成的特征圖包含缺陷的全局和局部特征，來解決特征表達能力低的問題。
文獻[16]指出更深的網(wǎng)絡可以實現(xiàn)更高的召回率，但定位精度不是最優(yōu)的，淺層網(wǎng)絡雖可以獲得更詳細的特征和較高的定位精度，但召回率更低。由于 FPC 表面焊點的夾渣、脫落、堆積、虛焊等缺陷尺寸小且形狀不規(guī)則，如果直接使用常規(guī)的 RPN 網(wǎng)絡，可能會出現(xiàn)缺陷位置的錯位和漏檢。神經(jīng)元的感受野越大，可以獲取的原始圖像的范圍就越大，即神經(jīng)元中包含的特征越抽象，語義水平就越高;感受野越小，感受野中的特征就越傾向于局部和細節(jié)[17-18]。
為了比較 Faster R-CNN 與改進后模型的收斂性，選用前 10000 次迭代訓練中的識別準確率進行比較。兩次試驗具有相同的超參數(shù)，學習率為 3 10 ，權(quán)重衰減率為 4 5 10。每隔 100 代采用隨機梯度下降算法進行優(yōu)化處理，兩種模型的檢測性能曲線如圖 7 所示。從圖中可以看出，改進的 Faster R-CNN 模型率先獲得 90%以上的識別準確率，這是由于在訓練初期由于新生成的錨箱符合被檢測對象的形態(tài)特征，故缺陷的定位精度較高，算法的收斂速度較快。進入穩(wěn)定階段后，改進后的 Faster R-CNN 模型的識別效果優(yōu)于原模型，且精度保持在 90%以上，這說明改進后的模型對具有相似輪廓的微小缺陷的感知能力相對較強，從而提高了模型的識別精度。進一步地，改進后的模型的識別準確率均值為 91.89%，比原模型增加了 7.72%。
最后，將改進的 Faster R-CNN 與 SVM[20]、 YOLO-V3[21]以及經(jīng)典的 Faster R-CNN 進行比較。表 3 至表 6 分別給出了四種模型對微型扁平電機焊點夾渣、焊點脫落、焊料堆積和虛焊四種缺陷的檢測結(jié)果。從表中可以看出，本文所提的模型具有最好的檢測性能;由于只提取了圖像的淺層特征，故 SVM 對微小缺陷的檢測性能最差;從檢測時間上看，YOLO-V3 的檢測速度最快，但檢測精度和召回率都太低，實用性不理想。然而，由于扁平電機生產(chǎn)線的運行速度較低，故綜合考慮檢測精度和檢測時間，本文所提改進的 Faster R-CNN 是最佳的缺陷分類方案。
此外，為了讓微型扁平電機 FPC 表面焊點缺陷的檢測結(jié)果更直觀地展示出來，圖 8 給出了其他三種模型與改進的 Faster R-CN 模型對于不同焊點缺陷的檢測結(jié)果比較。從結(jié)果可以看出，改進的 Faster R-CN 模型具有較高的準確性和精度。
4 結(jié)束語
本文提出了一種基于改進的 Faster R-CNN 模型的微型扁平電機 FPC 表面焊點質(zhì)量的檢測方法。為了克服傳統(tǒng) Faster R-CNN 模型檢測微小焊點存在的錯位和漏檢現(xiàn)象，采用一種多尺度特征融合的檢測模型，將不同感受野的特征圖組合作為 RPN 層的輸入，充分考慮缺陷的全局和局部特征，提高模型的檢測性能。試驗結(jié)果表明，改進后的 Faster R-CNN 模型的檢測精度優(yōu)于原模型，其識別準確率均值可達 91.89%，比原模型增加了 7.72%。另外，改進后的 Faster R-CNN 模型的檢測精度也優(yōu)于 SVM 和 YOLO-V3，且能夠滿足微型扁平電機 FPC 表面焊點質(zhì)量檢測的工程需求。——論文作者：郁巖 1，齊繼陽 2
參考文獻
[1] Wang B, Hu S J, Sun L, et al. Intelligent welding system technologies: State-of-the-art review and perspectives[J]. Journal of Manufacturing Systems, 2020, 56: 373-391.
[2] Wang Q, Jiao W, Wang P, et al. A tutorial on deep learning-based data analytics in manufacturing through a welding case study[J]. Journal of Manufacturing Processes, 2021, 63: 2-13.
[3] 牟欣穎, 何赟澤, 王洪金, 等. 基于一維卷積神經(jīng)網(wǎng)絡的聯(lián)動掃描熱成像缺陷自動識別與深度回歸[J]. 電子測量與儀器學報, 2021, 35(04): 211-217.
[4] 曹紅燕, 沈小林, 劉長明,等. 改進的 YOLOv3 的紅外目標檢測算法[J]. 電子測量與儀器學報, 2020, 32(8):7.
[5] Tabernik D, Šela S, Skvarč J, et al. Segmentation-based deep-learning approach for surface-defect detection[J]. Journal of Intelligent Manufacturing, 2020, 31(3): 759-776.
[6] Maestro-Watson D, Balzategui J, Eciolaza L, et al. Deflectometric data segmentation based on fully convolutional neural networks[C]//Fourteenth International Conference on Quality Control by Artificial Vision. International Society for Optics and Photonics, 2019, 11(7): 20-29.
[7] Park J K, Kwon B K, Park J H, et al. Machine learning-based imagingsystem for surface defect inspection[J]. International Journal of Precision Engineering and Manufacturing-Green Technology, 2016, 3(3): 303-310.
[8] ZHAO T, GUAN S, WANG P. A steel defect image segmentation method based on target’s area characteristic analysis[J]. Journal of Xi'an Polytechnic University, 2015, 29: 477-481.
[9] Xu X, Lei Y, Yang F. Railway subgrade defect automatic recognition method based on improved faster R-CNN[J]. Scientific Programming, 2018: 1-12.
[10] Ren S, He K, Girshick R, et al. Faster r-cnn: Towards real-time object detection with region proposal networks[J]. Advances in neural information processing systems, 2015, 28: 91-99.
[11] Baumgartl H, Tomas J, Buettner R, et al. A deep learning-based model for defect detection in laser-powder bed fusion using in-situ thermographic monitoring[J]. Progress in Additive Manufacturing, 2020: 1-9.
[12] Minaee S, Kafieh R, Sonka M, et al. Deep-covid: Predicting covid-19 from chest x-ray images using deep transfer learning[J]. Medical image analysis, 2020, 65: 101-116.
