發布時間：2021-08-07所屬分類：免費文獻瀏覽：1次
摘 要： 信息技術
《基于海上無人平臺的低功耗實時智能監測系統》論文發表期刊：《信息技術》；發表周期：2021年03期
《基于海上無人平臺的低功耗實時智能監測系統》論文作者信息：作者簡介: 宋罡(1994－) ，男，碩士研究生，研究方向為人工智能系統的軟硬件實現。 * 通訊作者: 蔣樂天(1975－) ，男，博士，副教授，研究方向為嵌入式系統、軟件可靠性和可用性。
摘要: 針對海上無人值守的監測平臺對功耗、實時性、識別率等方面的要求，設計并實現了基于人工智能技術的綜合目標識別系統。該系統提出了目標框定預處理算法，大大降低了神經網絡的輸入數據量; 通過神經網絡模型優化降低了計算復雜度，并能適應不同尺寸的輸入圖片。該系統具有良好的性能功耗比，能較好地滿足實際應用場景的需求。
關鍵詞: 海上無人平臺; 智能監測; 目標框定預處理算法; 低功耗神經網絡
Abstract: Aiming at the requirements for power consumption, realtime performance and recognition rate of offshore unmanned platform, a comprehensive target recognition system based on artificial intelligence tech-nology is proposed and implemented. A preprocessing algorithm of target framing is proposed to greatly reduce the amount of input data for neural network; the neural network model is optimized to reduce the computational complexity and adapt to different sizes of input images. The system provides good performancel power ratio, and can better meet the needs of practical applications.
Key words: offshore unmanned platform; intelligent surveillance; pre processing algorithm of target framing; low power neural network
0 引 言
隨著國家對海洋開發和海洋國土安全的日益重視，基于海上無人平臺( 無人船、無人機、浮標等) 的智能監測識別系統引起了越來越多的關注。這種系統一方面對海上目標的識別率和處理實時性有很高的要求; 另一方面受到載荷的制約，
對功耗、體積、重量等方面有著嚴格的限制。而現有的人工智能算法對算力要求很高，而且往往基于 CPU/GPU 的架構實現，存在功耗高、體積大的問題，很難直接部署于海上無人平臺。
針對上述問題，本文提出了一種創新性的綜合目標識別系統，并進行了基于 FPGA 的硬件實現。針對海上光學設備往往具有非常廣的畫面視角以及非常高的圖像分辨率( 4K 及以上) 的特點，設計了自適應的目標框定算法進行預處理，大大降低了后端神經網絡的數據處理量和算力要求。同時對YOLOv4神經網絡模型進行了優化調整"，進一步降低了系統的計算復雜度，而且能夠實時適應前端預處理提供的不同尺寸的框定圖片。測試結果表明，該系統對各類海上目標的識別率達到了98%，對4K分辨率圖片的處理速度大于10FPs，同時整體功耗小于20瓦、不到目前同類系統的1/10.1目標框定預處理算法
海上智能監測識別系統的待測目標包括浮標、船只、礁石、海面飛行物等，目標種類多、速度差異大，而且容易受到海面波浪及反光的干擾。另一方面，海上識別背景相對單一，待測目標相對尺寸小且目標之間分布離散。針對上述特點，本系統設計了如圖1所示的目標框定預處理算法，對圖像中的可疑目標進行快速預檢，既可以有效降低后端神經網絡的數據處理量，也抑制了波浪及反光的干擾。該算法同時進行定向運動的目標監測和基于輪廓的目標監測，然后將兩者的結果進行信息融合并通過目標框定將可疑目標框出。
1. 1 定向運動目標監測
背景差分和幀間濾波模塊提取出圖像當前幀與背景幀之間的運動信息并濾除掉其中無規律的隨機運動( 一般為海面波浪運動造成的隨機反光、岸邊樹葉的晃動、成像系統的底噪等情形) ，得到具有固定方向的運動信息( 一般為速度較快的飛機、鳥類、船只等) ，從而得到運動可疑目標的大致位置。
該幀間濾波模塊的算法創新點是：將描述運動的最小單元分解為8 x8pixels尺寸的cells，對連續幀的cells做空間滑動皮爾遜相關2，通過空間滑動找到一個最相關的位置(dx，dy)I min(pra其中d，dy即對應了該cell的運動信息：通過連續12幀的比較，濾除無規則的運動信息并保留同一個方向的運動信息息。
1.2 基于輪廓目標檢測
利用海上目標和背景之間、海面和天空之間一般都具有較為明顯輪廓的特點，通過基于FP-GA的快速canny算子[、提取出畫面中的像素梯度變化劇烈處的信息，從而得到具有明顯輪廓可疑目標的大致位置。同時，通過海平面輪廓線的識別，可以使得系統能夠掌握海面與天空的區域劃分，從而為后端神經網絡的目標識別進行輔助判斷。
1.3 目標框定
將信息融合之后得到的可疑目標所在位置以預設大小的方形框出，保證框選結果之間無重疊，作為后端神經網絡的輸入。假設預設方形框的大小為a xaPixels，根據后端神經網絡的輸入特性，將a設為32的倍數，即有：
該目標框定預處理算法的最終效果如圖2所示，該算法大大降低了輸入后端神經網絡的圖片數據量。如果按圖像中每幀平均存在 1 個 320 ×320大小的可疑目標框估算，可以將后端神經網絡模型的平均計算量降低到原先的1.33%，從而使得系統實時處理4K分辨率的視頻流成為可能。實驗結果表明，相對于直接將4K分辨率的圖像輸入神經網絡，加入該算法之后，系統的查全率從98.8%下降為98.0%，損失不到1%;而系統的處理速率從0.06幀/秒提升至5.1幀/秒，速度提高了75倍。
2神經網絡模型優化
海上智能監測識別系統的目標識別任務由深度卷積神經網絡實現。采用YOLOv3.YOLOv4等神經網絡模型可以達到較高的識別準確率，但是算力要求過高，在資源受限的海上無人平臺上很難達到實時處理的要求。結合海上目標監測的具體場景，本系統對YOLOv4模型進行針對性的結構優化，力圖在保留YOLOv4網絡特性的同時有效降低網絡模型的規模和計算復雜度：為了與目標框定預處理算法的動態輸出相匹配，網絡輸入可以自適應接收不同尺寸的圖片。優化之后的神經網絡模型如圖3所示。其中CBL即Convolution.BatchNormal，LeakyRelu層的串聯，CSP*X表示由x個殘差塊構成的CSP結構。
2. 1 BackBone 優化
結合海上智能監測的識別目標和背景的特點，對YOLOv4中的CSPNet進行網絡寬度和深度的縮減[]。相比于YOLOv4，模型總深度從161層降至67層，網絡模型平均寬度從326.1降至102.4，但是不同于通用的YOLOv4Tiny簡化網絡，保留了YOLOv4中的CSPNet和殘差結構，從而盡可能保持網絡深度。
2.2 Neck優化
考慮到海上待測目標尺寸較小(95%的目標尺寸分布在8-260pixels區間內)，優化了YOLOv4的輸出尺度金字塔架構，從原本的三組不同尺度輸出變為兩組。同時盡可能地保留YOL0v4中的新特性，如PANet和SPP結構等62.3 激活函數選擇考慮到系統采用基于FPGA的硬件實現架構，將YOLOv4中被大量使用的Mish激活函數全部改為硬件實現簡單的LeakyRelu函數，在大大減少FPGA硬件資源開銷的同時只有約0.4%的mAP指標下降。
優化模型與其他網絡的性能對比如表1所示。實驗采用480 ×480分辨率的海上目標數據集進行測試，實現平臺為NVIDIA RTX2070.通過表1可以看出，本文改進模型的識別準確率(mAP@0.5)僅次于YOLOv3和YOLOv4網絡，好于其他輕量級網絡;每秒處理幀數是YOLOv4的5. 2 倍，是所有算法中最快的。因此，本文改進模型在精度和速度上都有良好的表現，能夠滿足海上目標監測的場景需求。
3 系統實現和性能分析
海上智能監測識別系統由海上無人平臺和地面總控站兩部分組成，系統整體結構如圖 4 所示。海上無人平臺實現本地化的海面視頻智能監測與識別，通過 4G 通信模塊將處理后的視頻流和實時預警信息遠程發送至地面總控站。地面總控站同時接收來自多個海上無人平臺的上傳結果并實時展示，可以遠程控制海上無人平臺的工作狀態并更新其中的算法模型。
海上無人平臺的硬件核心模塊基于Xilinx Zynq Ultrascale + MPSoC XCZU15EG芯片實現，采用ARM +FPGA的片上系統(SoC)硬件方案。
3.1 FPGA側實現
FPGA側進行目標框定預處理和神經網絡模型推斷。所有子模塊采用流水線架構并通過AXI-Stream總線互聯，實現高吞吐率性能。優化模型采用INT8方式量化回，便于FPGA實現并進一步縮小了參數量。
專門設計了一個類似于DPU的通用卷積神經網絡計算架構[：其中PE模塊目前已完成卷積層、批量歸一化層、Relu、LeakyRelu、平均池化層、最大值池化層、通道拼接、上采樣層等各層算子實現，覆蓋了本文優化模型中的所有操作。為了自適應接收不同尺寸的圖片，創新性地
設計了圖像幀頭解析模塊。該模塊根據輸入圖片尺寸的變化，實時調整片上緩存對于模型權值與各層激活值的臨時存取策略。
3.2 ARM側實現
基于ARM架構的CPU連接FPGA，eMMC Flash.DDRA4等外圍設備，組成嵌入式系統。嵌入式系統對智能識別結果進行后處理與視頻疊加，并形成實時預警信息。
采用本文算法輸入4K分辨率的海上實際數據，使用不同硬件平臺實現的性能對比如表2所示。從表2可以看出，本文使用的FPGA硬件平臺的性能和處理速度接近現有的CPU/GPU處理平臺，但是功耗不足20瓦，具有遠超CPU/GPU的性能功耗比，非常適合部署在海上無人平臺。
4 結束語
本文設計了一種用于海上無人平臺的高性能
功耗比的智能監測識別系統。該系統提出目標框
定預處理算法并優化了YOLOv4神經網絡模型，可以實時處理高分辨率的視頻流。系統基于FP-GA實現并在海上無人船上通過了實場測試，結果表明，該系統在識別率、實時性、功耗等方面均
達到了良好的性能。后續可以考慮對神經網絡模型進行深度剪枝量化等優化操作，進一步提升系
統的性能功耗比和實用價值。
參考文獻：
[1]Bochkovskiy A，Wang C Y，Liao H Y M.YOLOv4：optimal speed and accuracy of object detection[].arXiv Preprint，2004：109342020
[2]Rodgers J L，Nicewander W A.Thirteen ways to look at the correlation coefficient[J].The American Statistician，1988，42(1)：59-66.
[3]Canny J.A computational approach to edge detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1986，8(6)：679-698.
[4] Redmon J, Divvala S, Girshick R, et al. You only look once: unified, realtime object detection [J]. ar Xiv,2015,506:02640.
[5] Wang C Y, Liao H Y M, Wu Y H, et al. CSPNet: a new backbone that can enhance leaming capability of cnn[]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshop (CVPR Workshop), 2020:1571 -1580.
[6] Liu Shu, Qi Lu, Qin Hai-fang, et al. Path aggregation network for instance segmentation [C]. CVPR, 2018: 8759-8768
[7]AlexeyAB.Yolo v4，v3 and v2 for Windows and Linux [EB/OL].(2020-08-23)[202049-01].
[8]Zynq UltraScale + MPSoC Data Sheet：Overview(DS891)[M].Xilinx，2019：1-3.
[9]Jacob B，Kligys S，Chen B，et al.Quantization and training of neural networks for efficient integer-arithmetic-only inference[C].CVPR，2018：2704-2713.
[10]Zyng DPU v3.2 Product Guide(PG338)[M].Xilinx，2020：6-7.
