1  技術(shù)特點

基于前端邊緣計算、公網(wǎng)遠(yuǎn)程控制技術(shù)的小型無人機在輸電線路的應(yīng)用技術(shù)特點：

1.無人機搭載公網(wǎng)控制模組

無人機內(nèi)置公網(wǎng)網(wǎng)絡(luò)連接模塊，可進行5G通信，向下兼容4G。遠(yuǎn)程控制飛行之前，用戶在遠(yuǎn)程控制終端根據(jù)地圖和點圖規(guī)劃航線，將航線文件加密后通過公網(wǎng)發(fā)送至無人機或轉(zhuǎn)存至服務(wù)器。

2.遠(yuǎn)端地面控制站通過基站網(wǎng)絡(luò)與云端服務(wù)器進行連接，并經(jīng)過服務(wù)器與被控?zé)o人機建立連接鏈路，實現(xiàn)無人機通過公網(wǎng)鏈路的遠(yuǎn)程無限距離控制。

無人機搭載公網(wǎng)控制模組，公網(wǎng)信號控制模塊將飛機串口控制信號實時轉(zhuǎn)換成UDP或TCP數(shù)據(jù)包，并通過公網(wǎng)基站向云端服務(wù)器進行發(fā)送。另外一方面，遠(yuǎn)端地面控制站通過基站網(wǎng)絡(luò)與云端服務(wù)器進行連接，并經(jīng)過服務(wù)器與被控?zé)o人機建立連接鏈路，實現(xiàn)無人機通過公網(wǎng)鏈路的遠(yuǎn)程無限距離控制，遠(yuǎn)程管控平臺通過網(wǎng)絡(luò)與服務(wù)器進行連接，同時可根據(jù)無人機回傳數(shù)據(jù)進行無人機飛行指令控制，同時可進行遠(yuǎn)距離定點降落進行人工換電，無人機飛控距離達(dá)到公網(wǎng)信號所及之處皆可及的“無限遠(yuǎn)”。

3.邊緣數(shù)據(jù)實時處理標(biāo)注

飛行過程中，無人機自動航線巡航視頻畫面實時直播，無人機飛行參數(shù)及航線位置等信息顯示，特殊情況可切手動模擬桿飛行。

無人機巡檢同時，進行圖像、視頻等數(shù)據(jù)采集工作，使用無人機機載邊緣計算NPU算力進行線路通道山火，線路通道機械施工，桿塔邊坡塌方，導(dǎo)線飄掛物等隱患進行實時標(biāo)注，為節(jié)省功耗采用輕量級AI模型，模型在完成訓(xùn)練下載到無人機邊緣計算終端上，代入實采數(shù)據(jù)實時外部隱患標(biāo)注，并將異常隱患信息推送至遠(yuǎn)程控制終端。

4.輕量化模型技術(shù)應(yīng)用

模型輕量化移植技術(shù)可大致分為：

1）低秩分解：將神經(jīng)網(wǎng)絡(luò)每一次的參數(shù)看作是一個矩陣（例如全連接層是一個二維矩陣、卷積層是個四維矩陣），然后通過矩陣分解與低秩近似將一個大矩陣分為多個小矩陣，從網(wǎng)絡(luò)層面即將一個層分解為多個計算量總和更小的層，以達(dá)到加速的效果，代表方法有SVD分解、Tucker分解等。

2）剪枝：模型剪枝分為三種，非結(jié)構(gòu)化剪枝、結(jié)構(gòu)化剪枝以及自動化剪枝方法。

非結(jié)構(gòu)化剪枝：非結(jié)構(gòu)化剪枝是將模型權(quán)重矩陣中“unimportant”的元素置零，得到一個稀疏矩陣，再通過稀疏化存儲的方式進行存儲，降低模型存儲量，以達(dá)到壓縮效果。

結(jié)構(gòu)化剪枝：結(jié)構(gòu)化剪枝是將模型的一個完整的結(jié)構(gòu)剪除，比如channels、filters、layers等，移除掉完整的結(jié)構(gòu)之后，模型可以在現(xiàn)有框架上實現(xiàn)加速的效果。

自動化剪枝：基于神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索（NAS），利用模型剪枝得到的網(wǎng)絡(luò)結(jié)構(gòu)相比其保留的參數(shù)更為重要的特性，并且用實驗論證了在相同的剪枝結(jié)構(gòu)下，無論是否保留原始模型的參數(shù)，實現(xiàn)剪枝網(wǎng)絡(luò)最終都能訓(xùn)練到相近的性能。

3）量化：一般的量化指的是低比特量化，通常的神經(jīng)網(wǎng)絡(luò)訓(xùn)練框架，模型的參數(shù)以及激活值都是FP32類型，量化是在推理的時候?qū)⑵滢D(zhuǎn)化為INT8類型，從而加快網(wǎng)絡(luò)推理的速度；更極端的，是將網(wǎng)絡(luò)訓(xùn)練為二值網(wǎng)絡(luò)，僅有0跟1的網(wǎng)絡(luò)。并且利用數(shù)值對齊，包括對稱量化與非對稱量化等，量化網(wǎng)絡(luò)的訓(xùn)練，反量化等，保證量化后網(wǎng)絡(luò)的精度

4）知識蒸餾：神經(jīng)網(wǎng)絡(luò)在我們看不見的地方（看得見的是網(wǎng)絡(luò)參數(shù)），存在 Dark Knowledge ，這個Dark Knowledge可以作為監(jiān)督信息來監(jiān)督網(wǎng)絡(luò)訓(xùn)練，一般的方法是將大模型的Dark Knowledge作為監(jiān)督信息來指導(dǎo)小模型進行訓(xùn)練，從而使得小模型學(xué)習(xí)到更多知識，提升小模型性能。大模型到小模型的知識遷移過程，可以看作是模型壓縮過程。

5）輕量化模型設(shè)計：采用Depthwise+Pointwise的卷積來代替?zhèn)鹘y(tǒng)的卷積，以減少參數(shù)的計算量。實現(xiàn)輕量化網(wǎng)絡(luò)設(shè)計高效、輕量的神經(jīng)網(wǎng)絡(luò)，在代替?zhèn)鹘y(tǒng)龐大網(wǎng)絡(luò)的同時，保證了網(wǎng)絡(luò)的性能的目標(biāo)。

5.算法的設(shè)計與調(diào)優(yōu)

1）智能調(diào)光

智能調(diào)光算法用于解決當(dāng)前巡檢過程中，無人機拍照遇到的照片過暗、過曝問題。借助大疆無人機提供的相機調(diào)光接口，通過自研圖像處理算法找到合適的接口參數(shù)，進而調(diào)用接口調(diào)整相機曝光參數(shù)，最終將相機畫面內(nèi)目標(biāo)實體的亮度調(diào)至適宜亮度。

2）總體流程：

無人機在拍攝點位懸停之后，截取當(dāng)前視頻流的畫面，并對當(dāng)前幀進行灰度化。在此灰度圖中，假設(shè)當(dāng)前點位目標(biāo)處于畫面中心，截取該區(qū)域進行本征圖像分解（Image Intrinsic Decomposition）。

本征分解即從原始圖像去估計反射率圖與亮度圖。本征分解模型會假設(shè)亮度圖是單波段的灰度圖像，而反射率圖與原始圖像均是包含了紅、綠、藍(lán)三個波段的彩色圖像。反射率圖反映了物體在無色均勻光照下的顏色和表面材質(zhì)屬性，即物體的本征反射屬性。而亮度圖則由場景中的各種光照和物體的幾何形狀構(gòu)成，反映了場景中各個位置的光照信息。

利用Retinex和圖像序列約束，對灰度圖進行本征圖像分解，得到亮度譜。以此方法應(yīng)用于該幀畫面劃分出的所有區(qū)域，根據(jù)亮度譜的值尋找與目標(biāo)亮度最接近的區(qū)域，控制無人機云臺相機針對該區(qū)域進行調(diào)光，即可獲得對目標(biāo)來說最為合適的曝光參數(shù)，從而減少過曝與欠曝的情況。

圖：調(diào)光效果

3）缺陷檢測算法

RK3588機載計算設(shè)備通過大疆PSDK與大疆無人機通信，讀取無人機本機文件系統(tǒng)中的設(shè)備圖像，直接送入基于邊緣計算模塊的缺陷檢測算法進行桿塔本體及塔上設(shè)備的缺陷識別，單張不高于4K圖片完成檢測的時長低于0.5s，并生成缺陷檢測報告。

支持銷釘脫出及缺失、鳥巢、蜂窩、絕緣子自爆等不低于10個類別的缺陷檢測算法。

4）模型結(jié)構(gòu)調(diào)優(yōu)

模型部署至邊緣端設(shè)備后可能出現(xiàn)運行時間變長的情況，為進一步減小模型尺寸，加速運行，需要對模型進行剪枝。

通常網(wǎng)絡(luò)模型的參數(shù)都含有冗余，即有些參數(shù)的值接近0，或者某些層的輸出為0，在網(wǎng)絡(luò)實際進行推理時，這些參數(shù)的貢獻也幾乎為0， 所以就可以將這些多余的參數(shù)從網(wǎng)絡(luò)中移除。在剪枝之前，通過計算L1和L2范數(shù)來衡量參數(shù)的數(shù)值大小，觀察網(wǎng)絡(luò)層的輸出變化。按照參數(shù)重要性排序，從而刪減不重要的參數(shù)。

將剪枝之后的模型用訓(xùn)練數(shù)據(jù)進行微調(diào)，以減小剪枝帶來的模型精度損失。

5）模型量化、部署

模型量化是將深度學(xué)習(xí)模型部署到邊緣端設(shè)備上的關(guān)鍵。模型量化以較低的推理精度損失將連續(xù)取值（或者大量可能的離散取值）的浮點型模型權(quán)重或流經(jīng)模型的張量數(shù)據(jù)定點近似（通常為int8）為有限多個（或較少的）離散值的過程，以更少位數(shù)的數(shù)據(jù)類型用于近似表示32位有限范圍浮點型數(shù)據(jù)，而模型的輸入輸出依然是浮點型。

邊緣端設(shè)備支持低比特參數(shù)的加速，原理是在寄存器中加法的運行速度比乘法要快，如果將參數(shù)量化為低比特，很多乘法運算可以簡化為加法，從而達(dá)到縮小模型文件尺寸、減少模型內(nèi)存消耗及加快模型推理速度的目的。

將壓縮過的模型部署在邊緣端設(shè)備上，需要將模型文件轉(zhuǎn)換為可以在RK3588邊緣端芯片上運行的文件格式，以便于在RKNN加速引擎上運行目標(biāo)識別同時需要對模型的輸出進行后處理，例如通過NMS算法對冗余的檢測框進行刪減，通過分?jǐn)?shù)閾值剔除置信度較低的檢測框等等；在完成部署之后，深度學(xué)習(xí)模型即可在邊緣端設(shè)備上以較高的效率運行。

2  應(yīng)用成效

基于前端邊緣計算、公網(wǎng)遠(yuǎn)程控制技術(shù)的小型無人機在輸電線路的應(yīng)用成效：

1.航線遠(yuǎn)程規(guī)劃，內(nèi)嵌4G/5G模塊，解綁遙控器，實現(xiàn)超遠(yuǎn)距離無人機自主飛行

按照工作需要通過遠(yuǎn)程控制終端，實時規(guī)劃航線，并自動生成航線，現(xiàn)場人員只需要打開無人機電源開關(guān)，遠(yuǎn)程控制終端啟動“一鍵飛行”模式，無人機按照預(yù)設(shè)航線開展全自動巡檢任務(wù)，減少人力成本。

2.高續(xù)航供電與接續(xù)充換電技術(shù)

通過疊加無人機動力電池容量，使得無人機飛行航程距離增加50%。面對長距離線路通道巡檢任務(wù)，可通過多點人工換電，無人機與遙控器自動對屏技術(shù)，實現(xiàn)無人機跳飛接力式飛行，滿足線路通道長距離快速通道巡檢需要。

3.低投入，部署靈活

使用大疆無人機御3行業(yè)機和無人機遠(yuǎn)程控制機載邊緣計算終端即可使用，只要有公網(wǎng)區(qū)域即可部署使用，無人機遠(yuǎn)程控制終端可控制多個無人機進行多機巡檢任務(wù)。

4.輕量AI模型與邊緣數(shù)據(jù)處理

利用已有典型線路通道外部隱患案例進行線路通道隱患識別算法訓(xùn)練，將訓(xùn)練后的算法經(jīng)過模型輕量化處理，部署于無人機機載邊緣計算終端，實現(xiàn)無人機在巡檢過程中，線路通道隱患的自主識別，并通過積累外部隱患數(shù)據(jù)庫，實現(xiàn)算法種類和深度的迭代更新。

5.機載邊緣計算硬件全國產(chǎn)化自主可控

目前國內(nèi)AI應(yīng)用所采用的AI芯片市場份額95%以上被美國英偉達(dá)、AMD等占據(jù)，對未來的人工智能戰(zhàn)略造成巨大的業(yè)務(wù)延續(xù)性和“卡脖子”風(fēng)險。更為嚴(yán)重的是，近年來美國持續(xù)打壓中國高科技企業(yè)，把我國大量企業(yè)列入實體清單。美國實體清單打壓的重點對象就是高科技人工智能企業(yè)，導(dǎo)致這些領(lǐng)域的供應(yīng)安全受到嚴(yán)重的破壞。因此，人工智能領(lǐng)域?qū)τ凇白灾骺煽亍钡脑V求越來越強烈。實現(xiàn)從底層硬件到上層應(yīng)用的國產(chǎn)化，成為解決“卡脖子”難題的唯一路徑。

6.小目標(biāo)識別行業(yè)領(lǐng)先，最小目標(biāo)6*6像素

無人機使用場景很多需要大圖中精準(zhǔn)識別出極小目標(biāo)，其檢測至關(guān)重要，面臨很多難點。

難點1：檢測框的高寬比多變，出現(xiàn)極端的高寬比，漏檢率比較高；

難點2：背景雜亂，誤檢率比較高；

難點3：數(shù)據(jù)源稀缺，沒有豐富的數(shù)據(jù)訓(xùn)練；

難點4：圖片大，檢測框小，所以漏檢率高。

使用的機載邊緣計算終端有效優(yōu)化性能，檢測最小目標(biāo)達(dá)到6*6像素，保證了線路通道隱患識別的準(zhǔn)確性。

3  技術(shù)路線

基于前端邊緣計算、公網(wǎng)遠(yuǎn)程控制技術(shù)的小型無人機在輸電線路的應(yīng)用技術(shù)路線：

無人機搭載公網(wǎng)控制模組，公網(wǎng)信號控制模塊將飛機串口控制信號實時轉(zhuǎn)換成UDP或TCP數(shù)據(jù)包，并通過公網(wǎng)基站向云端服務(wù)器進行發(fā)送。另外一方面，遠(yuǎn)端地面控制站通過基站網(wǎng)絡(luò)與云端服務(wù)器進行連接，并經(jīng)過服務(wù)器與被控?zé)o人機建立連接鏈路，實現(xiàn)無人機通過公網(wǎng)鏈路的遠(yuǎn)程無限距離控制，遠(yuǎn)程管控平臺通過網(wǎng)絡(luò)與服務(wù)器進行連接，同時可根據(jù)無人機回傳數(shù)據(jù)進行無人機飛行指令控制，同時可進行遠(yuǎn)距離定點降落進行人工換電，無人機飛控距離達(dá)到公網(wǎng)信號所及之處皆可及的“無限遠(yuǎn)”，實現(xiàn)終端采集圖像、視頻信息實時回傳和地面端遠(yuǎn)程無線距離控制。無人機遠(yuǎn)程控制依賴于“遠(yuǎn)程規(guī)劃、本地執(zhí)行、實時修正、邊緣處理、長距續(xù)航、自動對屏接續(xù)飛行”技術(shù)，解決實現(xiàn)在信號覆蓋區(qū)域的互聯(lián)互通、超視距控制、遠(yuǎn)距離巡檢，數(shù)據(jù)實時回傳、邊緣數(shù)據(jù)實時處理標(biāo)注、多設(shè)備協(xié)同等。

第一，無人機內(nèi)置公網(wǎng)網(wǎng)絡(luò)連接模塊，可進行5G通信，向下兼容4G。遠(yuǎn)程控制飛行之前，用戶在遠(yuǎn)程控制終端根據(jù)地圖和點圖規(guī)劃航線，將航線文件加密后通過公網(wǎng)發(fā)送至無人機或轉(zhuǎn)存至服務(wù)器。

第二，飛行前的無人機連接公用網(wǎng)絡(luò)，從遠(yuǎn)程WEB控制端或服務(wù)器接收航線文件，解密并配置飛行路徑。

第三，無人機根據(jù)規(guī)劃好航線進行自動飛行。

第四，飛行過程中，無人機自動航線巡航視頻畫面實時直播，無人機飛行參數(shù)及航線位置等信息顯示，特殊情況可切手動模擬桿飛行。

第五，無人機巡檢同時，進行圖像、視頻等數(shù)據(jù)采集工作，使用無人機機載邊緣計算NPU算力進行線路通道山火，線路通道機械施工，桿塔邊坡塌方，導(dǎo)線飄掛物等隱患進行實時標(biāo)注，為節(jié)省功耗采用輕量級AI模型，模型在完成訓(xùn)練下載到無人機邊緣計算終端上，代入實采數(shù)據(jù)實時外部隱患標(biāo)注，并將異常隱患信息推送至遠(yuǎn)程控制終端。

4  應(yīng)用場景

基于前端邊緣計算、公網(wǎng)遠(yuǎn)程控制技術(shù)的小型無人機在輸電線路的應(yīng)用場景：

1.線路通道往返快巡

一個起飛點大小號側(cè)飛行兩個自動航線往返架次，覆蓋直徑12公里。適用于：密集通道區(qū)快速巡視，及重點外部隱患區(qū)，山火區(qū)段，防汛區(qū)段，防冰區(qū)段等現(xiàn)場特殊快速巡視飛行。巡視過程中發(fā)現(xiàn)隱患可由自動巡檢任務(wù)切換手動控制，對隱患區(qū)進行全面高空勘察。可使用紅外雙光無人機進行遠(yuǎn)程測溫。

2.無人機施工現(xiàn)場安全監(jiān)管

控制終端遠(yuǎn)程控制無人機手動飛行，對施工現(xiàn)場360度進行監(jiān)控，實現(xiàn)畫面實時顯示，拍照及錄制視頻功能，并具備無人機搭載擴音設(shè)備進行現(xiàn)場喊話功能。

3.實現(xiàn)線路全線快速巡視

通過無人機前端AI識別技術(shù)，電池擴容增程技術(shù)，及遠(yuǎn)程控制技術(shù)的運用實現(xiàn)無人機遠(yuǎn)距離單程15-20公里航線自動跳棋飛行，距離起飛點15-20公里線路通道路徑處設(shè)置自動降落點，進行人工換電池，控制終端遠(yuǎn)程控制無人機繼續(xù)延線路通道進行下一個15-20公里航線飛行任務(wù)，直到巡視任務(wù)完成，可實現(xiàn)快速規(guī)劃航線，遠(yuǎn)程操控?zé)o人機實現(xiàn)航線自動飛行及手動飛行，巡視過程中發(fā)現(xiàn)隱患可由自動巡檢任務(wù)，切換手動控制，對隱患區(qū)進行全面高空勘察。無人機視頻實時傳輸，視頻及圖片下載。線路通道山火，線路通道機械施工，導(dǎo)線飄掛物，桿塔邊坡塌方等隱患前端AI識別及自動標(biāo)注及實時隱患推送功能。

5  典型經(jīng)驗和推廣前景

為了進一步提高基于前端邊緣計算、公網(wǎng)遠(yuǎn)程控制技術(shù)的小型無人機在輸電線路的應(yīng)用效果，考慮從以下三方面進行提升：

1.制定無人機遠(yuǎn)程控制通道巡檢工作規(guī)范

根據(jù)不同線路巡檢工作任務(wù)，制定合理的規(guī)范化無人機遠(yuǎn)程控制巡檢作業(yè)規(guī)程，保障遠(yuǎn)程無人機通道巡檢作業(yè)規(guī)范有序進行。

2.開發(fā)無人機中繼充電停機坪

開發(fā)無人機中繼充電停機坪，使得無人機跳飛過程不依賴人工換電方式進行接續(xù)飛行任務(wù)，無人機中繼充電停機坪具備低成本，部署簡單要求，無人機遙控器自動對拼技術(shù)，不依賴無人機RTK多種精確降落方式實現(xiàn)精準(zhǔn)降落。

3.全局征集典型缺陷案例數(shù)據(jù)集進行缺陷識別算法訓(xùn)練，普及人工智能邊緣計算在各個場景的使用

利用已有典型缺陷案例進行缺陷識別算法訓(xùn)練，將訓(xùn)練后的算法通過模型輕量化處理，部署于無人機機載終端，實現(xiàn)無人機在巡檢過程中，缺陷隱患的自主識別，并通過積累缺陷隱患數(shù)據(jù)庫，實現(xiàn)算法種類和深度的迭代更新。

算法種類包括但不限于：桿塔類缺陷識別算法、絕緣子類缺陷識別算法、護套類缺陷識別算法、銹蝕類缺陷識別算法、異物類缺陷識別算法、電線類缺陷識別算法。

來源：金巡獎