發(fā)布時(shí)間：2022-04-21所屬分類：電工職稱論文瀏覽：1次
摘 要： 摘 要：目前微型扁平電機(jī)制造廠仍采用人工觀察法對(duì)電機(jī) FPC 板焊點(diǎn)的焊接質(zhì)量進(jìn)行檢測(cè)，其檢測(cè)準(zhǔn)確率低、速度慢。針對(duì)這一問題，提出了一種基于改進(jìn) Faster R-CNN 的缺陷分類檢測(cè)方法。首先通過多尺度特征融合網(wǎng)絡(luò)對(duì) VGG16 的最后兩層網(wǎng)絡(luò)進(jìn)行融合后，代替原 Faster R-
摘 要：目前微型扁平電機(jī)制造廠仍采用人工觀察法對(duì)電機(jī) FPC 板焊點(diǎn)的焊接質(zhì)量進(jìn)行檢測(cè)，其檢測(cè)準(zhǔn)確率低、速度慢。針對(duì)這一問題，提出了一種基于改進(jìn) Faster R-CNN 的缺陷分類檢測(cè)方法。首先通過多尺度特征融合網(wǎng)絡(luò)對(duì) VGG16 的最后兩層網(wǎng)絡(luò)進(jìn)行融合后，代替原 Faster R-CNN 中區(qū)域候選網(wǎng)絡(luò)的輸入特征圖，然后從三個(gè)不同深度的多尺度特征融合算法比較改進(jìn)后網(wǎng)絡(luò)的準(zhǔn)確率、召回率和分?jǐn)?shù)。試驗(yàn)結(jié)果表明：改進(jìn)后的兩層多尺度融合特征圖代入模型，其缺陷分類檢測(cè)準(zhǔn)確率均值為 91.89%，比傳統(tǒng)模型增加了 7.72%;與其他二種模型相比，改進(jìn)后的模型分類檢測(cè)準(zhǔn)確率和精度是最高的。
關(guān)鍵詞：扁平電機(jī);缺陷分類檢測(cè);Faster R-CNN;深度學(xué)習(xí);多尺度特征融合
0 引 言
微型扁平電機(jī)主要由電刷組件、轉(zhuǎn)子和上下機(jī)殼組件構(gòu)成，是一種常用于電子設(shè)備中提供振動(dòng)和觸覺反饋的微型零件[1-2]。在電機(jī)生產(chǎn)過程中，扁平電機(jī)內(nèi)置的軟性線路(Flexible printed circuit，F(xiàn)PC)板上焊有電刷組件，而焊點(diǎn)表面質(zhì)量直接影響著整個(gè)電機(jī)的性能。目前，電機(jī)廠家仍采用人工觀察法來把控焊點(diǎn)品質(zhì)，費(fèi)時(shí)耗力，檢測(cè)手段也會(huì)由于光線質(zhì)量、人眼疲勞等因素而產(chǎn)生檢測(cè)誤差，從而導(dǎo)致檢測(cè)準(zhǔn)確率和有效性的下降。因此，開發(fā)一種識(shí)別和定位 FPC 表面焊點(diǎn)缺陷的檢測(cè)系統(tǒng)及高效的檢測(cè)方法對(duì)制造微型扁平電機(jī)是非常有意義的。
近年來，隨著深度學(xué)習(xí)技術(shù)的發(fā)展，基于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural network，CNN)的目標(biāo)檢測(cè)算法被廣泛應(yīng)用于很多領(lǐng)域[3-5]，如鋁型材表面檢測(cè)、農(nóng)產(chǎn)品識(shí)別、儲(chǔ)糧害蟲檢測(cè)等。深度學(xué)習(xí)模型通過自主提取圖中的高維信息，避免了傳統(tǒng)方法中繁瑣的圖像處理步驟，所以不少學(xué)者試圖將深度學(xué)習(xí)應(yīng)用于不規(guī)則表面缺陷檢測(cè)中。例如，Maestro 等[6]提出了一種基于 U-Net 的全卷積神經(jīng)網(wǎng)絡(luò)，用于對(duì)反射表面缺陷的語義分割，該網(wǎng)絡(luò)利用局部曲率和數(shù)據(jù)調(diào)制進(jìn)行像素級(jí)別分類，以確定缺陷的位置和邊界，并在工業(yè)環(huán)境中取得了出色的識(shí)別效果。Park 等[7]通過構(gòu)建具有不同深度和層結(jié)點(diǎn)的網(wǎng)絡(luò)來檢測(cè)產(chǎn)品表面的污垢和劃痕，取得了令人滿意的效果。Zhao 等[8]通過提取目標(biāo)物的區(qū)域特征來訓(xùn)練反向傳播網(wǎng)絡(luò)和支撐向量機(jī)(Support vector machine， SVM)分類器，有效了分割了缺陷區(qū)域。Xu 等 [9]人提出了一種 Faster R-CNN 模型，結(jié)合不同層的特征和 Soft-NMS 算法來檢測(cè)隧道中的缺陷。雖然這些基于深度學(xué)習(xí)的缺陷檢測(cè)方法具有先進(jìn)的識(shí)別性能，但對(duì)于不同輪廓的微小缺陷，它們的定位精度表現(xiàn)得很差。
根據(jù)以上研究，針對(duì)微型扁平電機(jī) FPC 板焊點(diǎn)的多種缺陷檢測(cè)，目前沒有高效、精確的檢測(cè)算法。因此本文提出一種融合多尺度特征圖作為 Faster R-CNN 模 型 中 的 區(qū) 域 候 選 網(wǎng) 絡(luò)(Regional proposal network，RPN)的輸入特征圖，同時(shí)實(shí)現(xiàn)微型扁平電機(jī) FPC 板焊點(diǎn)缺陷區(qū)域的提取和分類。
1 數(shù)據(jù)采集和預(yù)處理
本文采用的圖像采集設(shè)備為大恒水晶 MER-500 系列數(shù)字相機(jī)，配有日本 CCTV 高精度 25mm 焦距光學(xué)鏡頭，光源選用 OPT 公司的 40×40 的同軸光源。其中，鏡頭到扁平電機(jī)的高度為 150mm，可以達(dá)到的視場(chǎng)寬度為 25mm，被檢 測(cè) 樣 品 的 直 徑 為 10mm 。 試 驗(yàn) 中 ， 選 擇 TensorFlow 作為深度學(xué)習(xí)的框架，檢測(cè)模型在 Intel Core I7-8700 CPU, NVIDIA GTX-1070 GPU, 16G 內(nèi)存的 PC 機(jī)上運(yùn)行，圖 1 為 FPC 焊點(diǎn)圖像采集系統(tǒng)。
2 FPC 表面焊點(diǎn)缺陷檢測(cè)算法
2.1 Faster R-CNN 網(wǎng)絡(luò)
經(jīng)典的 Faster R-CNN 網(wǎng)絡(luò)模型包含四個(gè)模塊，即特征提取(Feature extraction)、區(qū)域候選網(wǎng)絡(luò)(Regional proposal network，RPN)、感興趣區(qū)域池化(ROI pooling)、分類和回歸(Target classification and positioning)[12-13]，如圖 3 所示。第一模塊為網(wǎng)絡(luò)提供特征圖，第二模塊 RPN 層網(wǎng)用于生成區(qū)域候選框，第三個(gè)模塊得到固定大小的候選特征圖，為后面的全連接操作做準(zhǔn)備。最后一個(gè)模塊進(jìn)行缺陷類別的分類和定位。
相關(guān)知識(shí)推薦：焊接工藝方面論文發(fā)哪些期刊
在 Faster R-CNN 網(wǎng)絡(luò)中，RPN 網(wǎng)絡(luò)首先要先計(jì)算出一系列大小各異的候選區(qū)域，同時(shí)要對(duì)候選區(qū)域進(jìn)行精確分類及其位置坐標(biāo)判斷[14]。由于候選區(qū)域大小各異，需要?dú)w一化處理，才能輸入下一層的卷積神經(jīng)網(wǎng)絡(luò)。為了提高缺陷的識(shí)別精度，區(qū)域候選網(wǎng)絡(luò)模型(RPN)直接利用全網(wǎng)絡(luò)的卷積特征圖識(shí)別 FPC 焊點(diǎn)圖像。這種特征提取網(wǎng)絡(luò)是 16 倍下采樣處理，利用最近鄰插值法產(chǎn)生了大小不等的像素位置偏移，導(dǎo)致網(wǎng)絡(luò)模型處理產(chǎn)生了偏差，偏差將會(huì)影響缺陷位置分割的準(zhǔn)確度。
2.2 改進(jìn)的特征圖算法設(shè)計(jì)
Faster-RCNN 網(wǎng)絡(luò)的特征圖提取網(wǎng)絡(luò)有兩種形式：ZF 網(wǎng)絡(luò)和 VGG 網(wǎng)絡(luò)[15]。實(shí)際操作中，需充分考慮工業(yè)相機(jī)拍攝圖像的全局特征和局部特征來提取 FPC 表面焊點(diǎn)的特征值，故本文選擇具有深度網(wǎng)絡(luò)層和較大修改空間的 VGG16 網(wǎng)絡(luò)作為特征提取網(wǎng)絡(luò)，其網(wǎng)絡(luò)結(jié)構(gòu)如圖 4 所示。
在 Faster R-CNN 中，RPN 層收到的特征圖是 Conv5_3 的輸出矩陣。這種特征可以更好地表示缺陷的輪廓信息，獲得更準(zhǔn)確的定位結(jié)果，但對(duì)于類間差異較小的微細(xì)差別樣本，如圖 1 所示的 4 種樣本分類，該特征的檢測(cè)效果并不理想，其原因是對(duì)于微細(xì)缺陷來說，抽象度高的特征表達(dá)能力太低。因此，本文通過 VGG16 網(wǎng)絡(luò)最后兩層的特征進(jìn)行融合再檢測(cè)，使新生成的特征圖包含缺陷的全局和局部特征，來解決特征表達(dá)能力低的問題。
文獻(xiàn)[16]指出更深的網(wǎng)絡(luò)可以實(shí)現(xiàn)更高的召回率，但定位精度不是最優(yōu)的，淺層網(wǎng)絡(luò)雖可以獲得更詳細(xì)的特征和較高的定位精度，但召回率更低。由于 FPC 表面焊點(diǎn)的夾渣、脫落、堆積、虛焊等缺陷尺寸小且形狀不規(guī)則，如果直接使用常規(guī)的 RPN 網(wǎng)絡(luò)，可能會(huì)出現(xiàn)缺陷位置的錯(cuò)位和漏檢。神經(jīng)元的感受野越大，可以獲取的原始圖像的范圍就越大，即神經(jīng)元中包含的特征越抽象，語義水平就越高;感受野越小，感受野中的特征就越傾向于局部和細(xì)節(jié)[17-18]。
為了比較 Faster R-CNN 與改進(jìn)后模型的收斂性，選用前 10000 次迭代訓(xùn)練中的識(shí)別準(zhǔn)確率進(jìn)行比較。兩次試驗(yàn)具有相同的超參數(shù)，學(xué)習(xí)率為 3 10 ，權(quán)重衰減率為 4 5 10。每隔 100 代采用隨機(jī)梯度下降算法進(jìn)行優(yōu)化處理，兩種模型的檢測(cè)性能曲線如圖 7 所示。從圖中可以看出，改進(jìn)的 Faster R-CNN 模型率先獲得 90%以上的識(shí)別準(zhǔn)確率，這是由于在訓(xùn)練初期由于新生成的錨箱符合被檢測(cè)對(duì)象的形態(tài)特征，故缺陷的定位精度較高，算法的收斂速度較快。進(jìn)入穩(wěn)定階段后，改進(jìn)后的 Faster R-CNN 模型的識(shí)別效果優(yōu)于原模型，且精度保持在 90%以上，這說明改進(jìn)后的模型對(duì)具有相似輪廓的微小缺陷的感知能力相對(duì)較強(qiáng)，從而提高了模型的識(shí)別精度。進(jìn)一步地，改進(jìn)后的模型的識(shí)別準(zhǔn)確率均值為 91.89%，比原模型增加了 7.72%。
最后，將改進(jìn)的 Faster R-CNN 與 SVM[20]、 YOLO-V3[21]以及經(jīng)典的 Faster R-CNN 進(jìn)行比較。表 3 至表 6 分別給出了四種模型對(duì)微型扁平電機(jī)焊點(diǎn)夾渣、焊點(diǎn)脫落、焊料堆積和虛焊四種缺陷的檢測(cè)結(jié)果。從表中可以看出，本文所提的模型具有最好的檢測(cè)性能;由于只提取了圖像的淺層特征，故 SVM 對(duì)微小缺陷的檢測(cè)性能最差;從檢測(cè)時(shí)間上看，YOLO-V3 的檢測(cè)速度最快，但檢測(cè)精度和召回率都太低，實(shí)用性不理想。然而，由于扁平電機(jī)生產(chǎn)線的運(yùn)行速度較低，故綜合考慮檢測(cè)精度和檢測(cè)時(shí)間，本文所提改進(jìn)的 Faster R-CNN 是最佳的缺陷分類方案。
此外，為了讓微型扁平電機(jī) FPC 表面焊點(diǎn)缺陷的檢測(cè)結(jié)果更直觀地展示出來，圖 8 給出了其他三種模型與改進(jìn)的 Faster R-CN 模型對(duì)于不同焊點(diǎn)缺陷的檢測(cè)結(jié)果比較。從結(jié)果可以看出，改進(jìn)的 Faster R-CN 模型具有較高的準(zhǔn)確性和精度。
4 結(jié)束語
本文提出了一種基于改進(jìn)的 Faster R-CNN 模型的微型扁平電機(jī) FPC 表面焊點(diǎn)質(zhì)量的檢測(cè)方法。為了克服傳統(tǒng) Faster R-CNN 模型檢測(cè)微小焊點(diǎn)存在的錯(cuò)位和漏檢現(xiàn)象，采用一種多尺度特征融合的檢測(cè)模型，將不同感受野的特征圖組合作為 RPN 層的輸入，充分考慮缺陷的全局和局部特征，提高模型的檢測(cè)性能。試驗(yàn)結(jié)果表明，改進(jìn)后的 Faster R-CNN 模型的檢測(cè)精度優(yōu)于原模型，其識(shí)別準(zhǔn)確率均值可達(dá) 91.89%，比原模型增加了 7.72%。另外，改進(jìn)后的 Faster R-CNN 模型的檢測(cè)精度也優(yōu)于 SVM 和 YOLO-V3，且能夠滿足微型扁平電機(jī) FPC 表面焊點(diǎn)質(zhì)量檢測(cè)的工程需求。——論文作者：郁巖 1，齊繼陽 2
參考文獻(xiàn)
[1] Wang B, Hu S J, Sun L, et al. Intelligent welding system technologies: State-of-the-art review and perspectives[J]. Journal of Manufacturing Systems, 2020, 56: 373-391.
[2] Wang Q, Jiao W, Wang P, et al. A tutorial on deep learning-based data analytics in manufacturing through a welding case study[J]. Journal of Manufacturing Processes, 2021, 63: 2-13.
[3] 牟欣穎, 何赟澤, 王洪金, 等. 基于一維卷積神經(jīng)網(wǎng)絡(luò)的聯(lián)動(dòng)掃描熱成像缺陷自動(dòng)識(shí)別與深度回歸[J]. 電子測(cè)量與儀器學(xué)報(bào), 2021, 35(04): 211-217.
[4] 曹紅燕, 沈小林, 劉長(zhǎng)明,等. 改進(jìn)的 YOLOv3 的紅外目標(biāo)檢測(cè)算法[J]. 電子測(cè)量與儀器學(xué)報(bào), 2020, 32(8):7.
[5] Tabernik D, Šela S, Skvarč J, et al. Segmentation-based deep-learning approach for surface-defect detection[J]. Journal of Intelligent Manufacturing, 2020, 31(3): 759-776.
[6] Maestro-Watson D, Balzategui J, Eciolaza L, et al. Deflectometric data segmentation based on fully convolutional neural networks[C]//Fourteenth International Conference on Quality Control by Artificial Vision. International Society for Optics and Photonics, 2019, 11(7): 20-29.
[7] Park J K, Kwon B K, Park J H, et al. Machine learning-based imagingsystem for surface defect inspection[J]. International Journal of Precision Engineering and Manufacturing-Green Technology, 2016, 3(3): 303-310.
[8] ZHAO T, GUAN S, WANG P. A steel defect image segmentation method based on target’s area characteristic analysis[J]. Journal of Xi'an Polytechnic University, 2015, 29: 477-481.
[9] Xu X, Lei Y, Yang F. Railway subgrade defect automatic recognition method based on improved faster R-CNN[J]. Scientific Programming, 2018: 1-12.
[10] Ren S, He K, Girshick R, et al. Faster r-cnn: Towards real-time object detection with region proposal networks[J]. Advances in neural information processing systems, 2015, 28: 91-99.
[11] Baumgartl H, Tomas J, Buettner R, et al. A deep learning-based model for defect detection in laser-powder bed fusion using in-situ thermographic monitoring[J]. Progress in Additive Manufacturing, 2020: 1-9.
[12] Minaee S, Kafieh R, Sonka M, et al. Deep-covid: Predicting covid-19 from chest x-ray images using deep transfer learning[J]. Medical image analysis, 2020, 65: 101-116.
