基于深度學習的TBM密集巖碴片圖像分割

　　摘 要:針對全斷面隧道掘進機的傳送帶上巖碴片重疊造成的圖像分割不準確問題，提出一種基于深度學習的密集巖碴片圖像分割方法。該方法首先將原圖像做預處理，標注并制作巖碴片圖像數據集;然后，改進 U-Net 模型的結構，通過深度監督以及新的混合損失函數優化模型學習分割表示的能力;訓練改進后的模型分割圖像，利用 OpenCV 獲取面積與長、短軸等參數;最后與最大類間方差法、分水嶺分割及傳統 U-Net 模型進行比較，結果表明，所提出巖碴片圖像分割的方法在準確率、F1 分數、重疊度指標上分別為 96.21%、94.66%和 90.04%，預測單張圖片耗時 1.47 秒，證明了所提出方法的準確性和有效性。

　　關鍵詞：中文名稱;巖碴片;機器視覺;圖像分割;深度學習;U-Net;模型評價;特征參數

　　趙先瓊; 鄧志強; 鄧朝暉; 梅勇兵; 夏毅敏 哈爾濱工程大學學報 2021-12-03

　　全斷面硬巖隧道掘進機(tunnel boring machine, TBM)通過滾刀破巖而使隧洞全斷面一次成型，現在廣泛應用于地下工程。作為 TBM 掘進過程中的直接產物，巖碴片的形狀以及粒徑分布等參數特征具有重要觀測意義。利用相機獲取皮帶機上巖碴片圖像，通過深度學習模型分割圖像并統計巖碴片粒徑分布，有助于快速高效的評價 TBM 破巖效率、獲得隧道圍巖等級和巖體性質。

　　陳文莉等[1]和宋克志等[2]基于現場掘進實驗對巖碴片大小及粒徑分布模型進行研究，結果表明， Rosin-Rammler 分布函數能較好地擬合巖碴片的粒徑分布，但是人工篩選的方法效率低。Aydin[3]認為機械開挖過程中得到的巖碴片，反應了巖石的地質特征，統計粒徑分布可以確定機械切割效率。閆長斌等[4]對 TBM 施工過程中產生的巖碴片進行現場測量和篩分試驗，結果表明巖碴片尺寸、大小特征與巖體性質有關。 Jianbin Li[5]認為用機器視覺進行圖像采集、巖碴片邊緣分割以及粒徑分布統計，具有數據標準統一的優點。Gordon Christie[6]搭建一種機器視覺檢測礦石系統，檢測巖石尺寸并對礦石的粒度分布進行估計;Xiuzhen Hu 等[7]提出一種基于歸一化互相關的局部區域生長算法分割TBM運輸帶上的巖碴片，對較大尺寸的巖碴片測量效果誤差小。數字圖像處理技術為巖碴片粒度分析提供了可行的辦法，但是數字圖像處理技術所得結果精度不高。

　　隨著深度學習的不斷發展，眾多學者利用機器視覺和深度學習進行巖碴片圖像的分割。Hadi Yaghoobi 等[8]收集 226 張爆破巖石的圖像制作數據集，通過傅里葉變換、Gabor 濾波器、小波變換來提取圖像中巖石的特征參數，作為神經網絡的輸入向量，最終得到的模型對巖石粒徑分布的結果分別比傳統數字圖像方法處理提高 67%、57%和 48%。 Zhenfeng Xue 等[9]采集巖碴片圖像制作數據集，訓練 FCN 和 GCN 網絡分別提取巖碴片目標掩膜和輪廓掩膜，混合兩個掩膜，得到巖石面積的預測結果。然而，上述方法采用的模型對于邊緣重疊、粘連的密集巖碴片的精細分割效果仍不夠好，且操作處理復雜。因此，本研究的目標是訓練一個深度學習模型以克服上述問題，利用改進的 U-Net 模型學習巖碴片的分割表示，通過深度監督以及新的混合損失函數讓模型更好地從像素級、塊級和圖像級學習巖碴片整體分割和邊緣的精細分割，最終得到巖碴片的粒徑參數分布。

　　1 數據集的準備

　　圖像分割任務依賴于大量標注良好的圖像數據，然而目前沒有注釋良好的巖碴片開源數據集，因此，獲取足夠多的巖碴片圖像以及對這些圖像的標注，對實現巖碴片圖像分割至關重要。為此，在本研究中采集了大量的巖碴片圖像，制作一個類似于 COCO 的數據集。

　　1.1 巖碴片圖像采集

　　在本研究中，參照 TBM 皮帶機和施工現場，設計了一套巖碴片圖像采集實驗臺。該實驗臺包含一個高分辨率線陣相機及線陣光源，皮帶機，圖像采集卡和計算機，皮帶機在載有巖碴片的工況下，運行速度穩定在 2 m/s，相機視距為 600 mm，相機的行頻最高可達 16 kHz。采集到的圖片存儲到計算機中，通過實驗臺獲取的圖片清晰、精度高，便于剪裁和預處理。

　　1.2 圖像數據集的建立

　　采集到的巖碴片圖像通過灰度化、中值濾波、自適應直方圖均衡化等方法進行預處理，效果如圖 2，預處理后的圖片變為灰度單通道圖像，網絡輸入層計算量降低至原來的三分之一，經過中值濾波、自適應直方圖均衡化的處理，消除噪聲，提升圖像的對比度。為了充分利用 U-Net 模型的計算能力，將獲得的圖片裁剪成小尺寸圖片，以滑動窗口的方式進行剪裁，滑動窗的尺寸為 512×512，滑動窗口步長為 320。最后，對處理后的巖碴片圖像進行標注，沿巖碴片的輪廓進行標記，只標注巖碴片的清晰部分，輪廓多邊形繪制完成后，寫入巖碴片標簽 ‘rock detritus’，本任務進行的圖像分割基于語義分割，需要給巖碴片和背景分配兩個不同的類別標簽，其中巖碴片為 1，背景為 0。最后，得到了一個包含形狀、面積等信息的注釋文件，其中部分標注圖像如圖 3 所示。

　　將 標 注 好 的 數 據 集 命 名 為 巖 碴 片 數 據 集(RCMCO)，包含 1200 張像素尺寸為 512×512 的注釋圖像，數據量較小，按照 6:2:2 的比例分成訓練數據集(720)、驗證數據集(240)和預測數據集(240)。在訓練小數據集的圖像分割時，通常要進行數據增強處理，包括旋轉變換、鏡面翻轉、添加噪聲、亮度變化，經過 9 類數據增強方法的處理，將訓練集增強到 6480 張圖片，更大的訓練數據集，能防止過擬合，使模型更可靠。

　　1.3 巖碴片的特征

　　U-Net 模型訓練的關鍵是通過對人為標注的圖像進行自學習，從像素數據中學習如何將巖碴片從背景中分割出來，并進行巖碴片之間的分割。首先，巖碴片圖像以像素值數組的形式被輸入到 U-Net 模型中，卷積層通過比較相鄰像素的灰度變化來提取邊緣特征，巖碴片邊緣和背景之間有明顯的灰度變化，利用提取的邊緣特征模型可以快速地將像素點進行邊緣和背景之間的分類。對于邊緣重疊的巖碴片，巖碴片間的灰度變化不大，因而賦予相互接觸的巖碴片之間的背景標簽更高的損失權重，從而學習重疊巖碴片的分割表示。

　　2 巖碴片圖像分割框架

　　Olaf Ronneberger 等[10]提出 U-Net，最初應用于生物細胞或醫學圖像分割，而細胞圖像所具有的邊緣粘連、模糊等復雜特點與皮帶機上的巖碴片相似，因此，使用 U-Net 進行巖碴片的圖像分割是可行的。 Liang Zhengyu 等[11]提出一種輕量級 U-Net 對顆粒圖像進行分割，所得的分割結果準確;柳小波等[12] 提出一種結合 U-Net 和 Res_U-Net 網絡模型對礦石圖像進行圖像分割的方法，實驗表明，該方法分割結果比傳統方法更為準確。為了實現對巖碴片圖像的語義分割，生成高質量的掩膜，對 U-Net 網絡進行改進并應用。在 U-Net 模型上進行改進，包括以下步驟：(1)改進 U-Net 模型的編碼和解碼結構;(2)引入深度監督，并改進損失函數。

　　2.1 U-Net 網絡結構

　　U-Net 是完全卷積神經網絡(FCN)，基于編碼 -解碼結構，通過跳躍連接結合來自解碼器的高級語義特征和編碼器的低級語義特征，結構如圖 4 所示。左側為下采樣，分 4 組卷積操作進行,每組卷積操作后進行一次最大池化操作(下箭頭)，將圖片縮小為原來的 1/2。右側上采樣過程，通過 4 組反卷積操作(向上箭頭)，每次上采樣將圖片擴展為原來的 2 倍，然后將對應下采樣的特征圖拼接到上采樣的結果上(灰色長箭頭)。最后用一個 1×1 的卷積操作將通道數減到 2。

　　2.2 U-Net 模型改進

　　U-Net 從被提出到現在，經過許多改進，其中 Zhou Z 等[13]提出的 U-Net++整合不同特征層所提取到的特征，但參數相較 U-Net 更大，對計算能力要求更高。Huang Huimin 等[14]提出的 U-Net3+，使得 U-Net 網絡能更好地提取和融合多尺度的信息。密集巖碴片的圖像分割要求精細的邊界分割和準確的位置信息提取。不同尺度的特征，對于不同大小的目標物敏感度不同，傳統 U-Net 結構在分割中，多次下采樣和上采樣容易丟失大巖碴片邊緣信息和小巖碴本身，這需要尺度(感受野)小的特征來彌補。U-Net3+改變了編碼器和解碼器的連接方式，如圖 5 所示，相較于 U-Net 網絡只進行同尺度解碼器和編碼器的連接，在 U-Net3+中每一個尺度的解碼器都結合了相同尺度及更小尺度的編碼器的特征，同時還連接更大尺度解碼器的特征，這些特征圖提取了全尺度下的巖碴片圖像細節特征和語義特征，增強巖碴片的邊界分割能力。

　　作為示例，圖 6 演示如何構造解碼層