基于改進R-FCN的交通標志檢測

　　摘要：針對交通標志檢測過程中需同時滿足高精度和速度的問題，本文提出了一種改進的基于區(qū)域全卷積網(wǎng)絡(luò)(R-FCN)的交通標志檢測方法。通過K-means聚類算法對數(shù)據(jù)集進行分析，選擇合適的錨點框。并對特征提取網(wǎng)絡(luò)ResNet101進行結(jié)構(gòu)簡化，只使用其前25層進行特征提取，以縮短檢測時間。再將可變形卷積和可變形位置敏感RoI(Regionof Interest)池化層引入模型中，以提高模型對交通標志的感應(yīng)能力。訓練過程中使用在線困難樣本挖掘策略，減少簡單樣本。在德國交通標志檢測數(shù)據(jù)集上的實驗結(jié)果表明：改進后的模型對交通標志位置信息更加敏感，在AP50時達到97.8%，AP75時為94.7%，檢測時間縮短至48ms，整個模型在精度與速度上都得到了提升。

　　本文源自計算機工程2021-01-27《計算機工程》雜志級別：CSCD，主辦單位：華北計算技術(shù)研究所，周期：旬刊，　國內(nèi)統(tǒng)一刊號：11-2127/TP，國際標準刊號：1002-8331，復(fù)合影響因子為0.984，綜合影響因子為0.518。《計算機工程》簡介：《計算機工程》刊登內(nèi)容包括發(fā)展趨勢/熱點技術(shù)、博士論文、基金項目論文、專題論文、軟件技術(shù)與數(shù)據(jù)庫、安全技術(shù)、多媒體技術(shù)及應(yīng)用、網(wǎng)絡(luò)與通信、人工智能及識別技術(shù)、工程應(yīng)用技術(shù)與實現(xiàn)、開發(fā)研究與設(shè)計技術(shù)等。

　　關(guān)鍵詞：交通標志;區(qū)域全卷積網(wǎng)絡(luò); ResNet101;可變形卷積;可變形位置敏感RoI池化

　　0概述

　　交通標志檢測是自動駕駛和輔助駕駛的重要組成部分，交通標志中含有速度限制，路面狀況等信息，對汽車起著指導(dǎo)作用，是安全駕駛的重要一步，對于交通標志的研究有著重要的理論和現(xiàn)實價值。研究人員對此提出了多種方法進行研究，在深度學習模型提出以前，交通標志的檢測方法大體可分為基于交通標志的顏色形狀等視覺信息方法[1-5]，基于特征提取和機器學習的識別方法[6-8]。

　　自從文獻[9]提出AlexNet在ImageNet大賽奪冠，多種深度學習模型被提出應(yīng)用于交通標志檢測任務(wù)中。文獻[10]設(shè)計了一種端到端的全卷積神經(jīng)網(wǎng)絡(luò)，在對其收集的Tsinghua-Tencent 100K 數(shù)據(jù)集檢測中，展現(xiàn)出強大的魯棒性。文獻[11]對Faster RCNN[12]中RPN接收域的修改，使模型更好的適應(yīng)交通標志這種小目標。文獻[13]通過使用多個11?的卷積核，降低了模型的計算復(fù)雜度，使檢測達到實時。文獻[14]提出了一種基于多尺度區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)，在RPN中融入上下文信息，能準確地檢測出較小的交通標志。

　　由于模型結(jié)構(gòu)設(shè)計的差異，目標檢測模型所側(cè)重的方面也不相同，一階檢測器如YOLO[15]，SSD[16]等，檢測速度快，但對交通標志這種小目標并不敏感，精度較低，容易產(chǎn)生誤判。二階檢測器Faster RCNN，F(xiàn)PN[17]等精度高，但速度慢，對于交通場景這種速度較快的情況，無法及時將信息傳遞給汽車。對此，本文基于R-FCN[18]框架，提出了一種改進的交通標志的檢測算法。通過對其特征提取網(wǎng)絡(luò)進行簡化，在不影響準確率的情況下提高模型檢測的速度。再添加K-means，在線困難樣本挖掘策略和可變形卷積等技術(shù)，以期提高模型的精度。

　　1交通標志檢測算法框架

　　1.1 R-FCN算法

　　R-FCN算法由經(jīng)典的Faster RCNN算法演變而來，同為二階段檢測器。先通過特征提取網(wǎng)絡(luò)提取圖像特征，輸出特征圖，再經(jīng)過區(qū)域建議網(wǎng)絡(luò)(region proposal network，RPN)對輸出的特征圖上提取出感興趣區(qū)域。R-FCN與Faster RCNN在RPN之前的步驟相同，兩者最大的不同在于對感興趣區(qū)域的分類與回歸。

　　Faster RCNN通過一組全連接層完成對目標的分類和回歸，每個經(jīng)過RPN提取出來的RoI都需要經(jīng)過全連接層的計算，這將消耗大量的時間。而R-FCN則通過額外添加兩組卷積的得到兩張分別為類別和位置的得分圖來對目標進行預(yù)測，即將全連接層替換成卷積層進行分類和回歸計算，一定程度上加快了檢測速度，整個檢測框架如圖1所示：

　　1.2 可變形卷積

　　傳統(tǒng)的卷積操作通常是基于形狀為3x3，5x5這種形狀規(guī)則的卷積核進行特征提取，然而這種傳統(tǒng)的卷積具有自身的局限性，只能提取規(guī)則區(qū)域內(nèi)的特征，無法根據(jù)物體的形狀提取到更細致的特征，而可變形卷積[19]引入了空間幾何形變的學習能力，可以更好地適應(yīng)空間。

　　可變形卷積可以根據(jù)目標的形狀進行卷積位置調(diào)整，使卷積的區(qū)域更貼切于物體。具體實現(xiàn)是通過增加了一組2N(N為卷積核的大小)個卷積核，產(chǎn)生尺寸與輸入特征圖相同，通道數(shù)為2N的特征圖，又稱為offset field(偏置域)。從offset field上可得到每個像素點的offsets(偏置矩陣)，具體方式如圖2所示。

　　傳統(tǒng)卷積的計算方式是與特征圖進行固定區(qū)域的卷積計算，對于特征圖上每個點位置0p，其計算方式如式1所示：

　　式中：x為輸入特征圖;y為輸出特征圖;0p為卷積計算點;R表示預(yù)采樣偏移，假設(shè)使用3x3卷積核，則??????????1, 1 , 1, 0 ,.... 0,1 , 1,1R? ? ? ?;Pn為R中位置的枚舉。

　　可變形卷積加入其中，將學習到的偏置矩陣offsets與預(yù)采樣偏移R相加，得到新的采樣偏移量，則輸入特征圖上每個點Po進行可變形卷積的表達式如式2所示：

　　式中：np?為偏置矩陣offsets對應(yīng)于常規(guī)卷積網(wǎng)格的偏移量;其余變量與式(1)相同。

　　1.3 特征提取網(wǎng)絡(luò)

　　R-FCN通過殘差網(wǎng)絡(luò)(ResNet)對圖片進行特征提取，ResNet[20]自提出以來，被廣泛應(yīng)用于分類，檢測任務(wù)。通過增加跳線連接，ResNet能夠緩解梯度消失和梯度爆炸的問題。

　　ResNet的結(jié)構(gòu)如圖3所示，假設(shè)在不加殘差前網(wǎng)絡(luò)需要學習的是????H xF x?，這樣一個恒等映射在神經(jīng)網(wǎng)絡(luò)層數(shù)增加時將變得很難擬合。而加入殘差結(jié)構(gòu)后神經(jīng)網(wǎng)絡(luò)學習的是????H xF xx??,即將恒等映射作為網(wǎng)絡(luò)的一部分，那么網(wǎng)絡(luò)真正學習的是殘差函????F xH xx??,這比原來的恒等映射更容易擬合。

　　Fig. 4 Construct the ResNet unit as deformable ResNet structure

　　本文使用了經(jīng)過預(yù)訓練的ResNet-101，在其第conv4_x模塊中融入可變形卷積。具體結(jié)構(gòu)如圖4所示，在殘差結(jié)構(gòu)中加入了額外的72個256維的卷積核，產(chǎn)生了四組offsets。通過這些新加入的卷積產(chǎn)生的offset的偏置量指引作用下, 對輸入特征進行可變形卷積操作獲得輸出特征。

　　1.4可變形位置敏感RoI池化

　　R-FCN中的位置敏感RoI池化在位置敏感得分圖上進行，位置敏感得分圖實質(zhì)上也是特征圖，但卻是有著確切含義的特征圖。位置敏感RoI池化會將RPN層提取出的感興趣區(qū)域分成kk?個bins(子區(qū)域)，假設(shè)目標的總類別數(shù)為C，則位置敏感得分圖的層數(shù)為??21kC?,每一層分別代表著某類物體的某個部位在整個圖像中的響應(yīng)值。位置敏感得分圖的層數(shù)受目標種類數(shù)影響，當目標種類增加時，得分圖的通道數(shù)也隨之增加，會帶了大量參數(shù)，增加檢測的時間，因此本文只有3類交通標志的情況適合于R-FCN位置敏感RoI池化的設(shè)計。

　　相比與原始的位置敏感RoI池化，可變形的位置敏感RoI池化通過卷積在位置敏感得分圖上產(chǎn)上了一個額外的偏置域。這個偏置域的尺寸與得分圖相同，通道數(shù)是其兩倍，對應(yīng)于位置敏感得分圖上每個點在X與Y方向的偏移量，具體方式如圖5所示。將經(jīng)過RPN提取出來的RoI區(qū)域?qū)?yīng)的offsets加入其中，其對應(yīng)的計算公式如式3所示：

　　式中：x為輸入特征圖;y為輸出的RoI;bin為由RoI劃分為??0,k ki j k? ? ?的區(qū)域;ijn是每個bin區(qū)域中的像素數(shù);0p為RoI左上角的坐標;p為bin區(qū)域內(nèi)像數(shù)點的枚舉;p?為偏移量offset。

　　1.5在線困難樣本挖掘

　　經(jīng)過特征提取網(wǎng)絡(luò)輸出的特征圖會在RPN的作用下產(chǎn)生大量的ROIs(候選區(qū)域)，這些ROIs中正樣本和負樣本分布并不平衡，簡單地設(shè)置正負比例將這些ROIs送入后續(xù)分類與回歸訓練使模型無法關(guān)注到困難樣本(預(yù)測時與真值標簽誤差較大的樣本，這類樣本常使得模型產(chǎn)生誤判現(xiàn)象)。OHEM(在線困難樣本挖掘)[21]會從這些ROIs中篩選出困難樣本，將篩選得到的這些樣本送入到訓練中。

　　具體操作為設(shè)置兩個相同的ROI子網(wǎng)絡(luò)，兩個子網(wǎng)絡(luò)結(jié)構(gòu)相同，但在功能上可將其分為只讀子網(wǎng)絡(luò)和可讀可寫子網(wǎng)絡(luò)。只讀子網(wǎng)絡(luò)只負責前向計算，輸出ROIs的損失，然后將這些ROIs的損失值從大到小排序，并通過NMS(非最大值抑制) 算法挑選出前K個ROIs，將其送入到可讀可寫子網(wǎng)絡(luò)中進行參數(shù)的反向傳播，完成網(wǎng)絡(luò)更新。

　　2實驗分析

　　2.1 實驗數(shù)據(jù)集

　　1.6改進后的網(wǎng)絡(luò)結(jié)構(gòu)圖

　　本文實驗主要基于R-FCN網(wǎng)絡(luò)結(jié)構(gòu)，為了加檢測速度，本文在基于ResNet-101的預(yù)練模型上進行刪減實驗，最后只保留了前25層來實現(xiàn)對圖片特征的提取，并將RoI區(qū)域中bin的個數(shù)從7×7 變?yōu)?×3。以上兩點有效提升了模型的檢測速度，卻并沒有因為參數(shù)的減少而影響準確率。

　　上述措施雖然能將模型的速度提升，但無法提升模型的準確率，于是筆者將可變形卷積核和可變形位置敏感RoI池化引入。總共使用了兩個可變形卷積核，分別置于RPN兩側(cè)，將可變形位置敏感RoI池化代替原始的位置敏感RoI池化，改進后的網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示。

　　本文的數(shù)據(jù)集采用的是德國交通標志檢測數(shù)據(jù)集(German Traffic Sign Detection Benchmark,簡稱GTSDB)[22]。GTSDB 是在2013 年的國際神經(jīng)網(wǎng)絡(luò)會議(IJCNN2013)上發(fā)布的，被用于當年的交通標志檢測大賽。該數(shù)據(jù)集包含900張高分辨率的道路交通圖片，其中訓練集600張，測試集300張，圖像大小全部為800×1360像素。圖片中交通標志的數(shù)量在0到6個，標志多為小目標，分辨率在16×16到128×128之間，形狀大多數(shù)為三角形和圓形。GTSDB中將43種交通標志分為了四大類，即禁令標志、指示標志、警告標志、其他標志。而根據(jù)當年比賽的規(guī)定，本文只對前三種標志進行檢測。因此本文訓練集總共包含666個標志，測試集包含273個標志。圖7為該數(shù)據(jù)集部分圖片與其檢測效果圖。

　　2.2錨點框維度聚類

　　通過對數(shù)據(jù)集的分析可知交通標志的面積遠小于原R-FCN的錨點框大小，使用原始的錨點將會使模型難以擬合那些過小的交通標志，因此需要對交通標志數(shù)據(jù)集進行聚類分析。

　　K-means聚類方法用歐氏距離定義損失函數(shù)，但在目標檢測算法中更適合采用預(yù)測框和anchor box的面積重疊度IOU作為度量距離, 則新的度量標準公式為：

　　d box centriodIOU box centriod??(4)

　　式中，box表示目標框尺寸, centriod表示聚類中心框尺寸。通過改變聚類中心點的個數(shù)得到不同的平均IOU，結(jié)果如圖8所示。

　　從圖8可看出當聚類個數(shù)為9時曲線逐漸平緩，于是選定9個錨點框，并且通過聚類可知交通標志長寬比的標注基本為1:1，錨點框具體大小設(shè)置為(22,22),(27,27),(32,32),(36,36),(40,40),(46,46),(56,56),(70,70),(100,100)。

　　2.3 實驗評價

　　本文實驗平臺信息：cpu為Inter Core i7-8700,內(nèi)存16G，gpu為NVIDIA GeForce RTX 2070，顯存8G，操作系統(tǒng)為Ubuntu 16.04，深度學習框架為MXNET。

　　實驗中采用ImageNet數(shù)據(jù)集上訓練好的ResNet101，其參數(shù)不參與更新，總共訓練15個epoch，初始學習率為0.001，在訓練10個epoch后將學習率調(diào)整為0.0001。

　　本文采用目標檢測中常見的AP50,AP70和AP三個評價指標進行評測，AP50,AP70分別表示IOU(預(yù)測目標與實際目標的重疊比)大于0.5和大于0.75時正確檢出目標,AP為IOU [0.5:0.05:0.95]共10個IOU下AP的平均值。使用三個指標能更好的體現(xiàn)出可變形網(wǎng)絡(luò)對交通標志的適應(yīng)能力，評價更為全面。

　　為了選擇適合本文的預(yù)訓練模型，本文首先以ResNet101和ResNet50為特征提取網(wǎng)絡(luò)的R-FCN在原模型下進行實驗，得到以下結(jié)果，如表1所示

　　經(jīng)對比發(fā)現(xiàn)預(yù)訓練ResNet101網(wǎng)絡(luò)與ResNet50相差不大，ResNet101相比與ResNet50中conv4_x中額外的51層并沒有取得太大優(yōu)勢，意味著對于本文交通標志檢測任務(wù)，ResNet101和ResNet50中的conv4_x的層數(shù)并不能產(chǎn)生太大的影響。于是選用總體偏優(yōu)的ResNet101為特征提取網(wǎng)絡(luò)，為了加快檢測速度，將conv4_x模塊進行簡化，只保留其前三層參數(shù)，即整個特征提取網(wǎng)絡(luò)只剩下35層，實驗結(jié)果如表

　　對特征提取網(wǎng)絡(luò)ResNet101進行層數(shù)的刪減并沒有對檢測結(jié)果產(chǎn)生太大影響，對ResNet101中conv4_x模塊的簡化僅造成了微小的變化。說明前25層提取出來的特征圖已經(jīng)包含了足夠交通標志的特征信息。

　　獲得了簡化的特征提取網(wǎng)絡(luò)后，本文便在簡化后的模型上進行實驗，通過聚類錨點，可變形卷積和可變形位置敏感ROI層加入其中，在訓練過程中采用在線難例挖掘方法，實驗的具體結(jié)果如表3所示。

　　實驗結(jié)果表明，在AP50時準確率提升了1.4%，達到97.8%。而在嚴格的AP75時達到94.7%，相比原算法提升了6%，總體AP更提升了將近9%。檢測時間方面本文相較原始的R-FCN(ResNet101)減少了60ms，速度提升兩倍有余。有效證明了本文保留前25層進行實驗的可行性，K-means聚類后錨點框的適應(yīng)性。

　　交通標志信息的標注是人工標注，其標注框都是正方形，加入可變形卷積和可變形位置敏感RoI池化層具體地提取出更多關(guān)于交通標志形狀的信息，更加符合交通標志圓形，三角形以及矩形的特征，在更嚴格的AP75和AP評價指標下準確率明顯提升。通過添加OHEM技術(shù)，著重于困難例的訓練，模型的準確率進一步提升。

　　2.4 模型對比

　　在目標檢測領(lǐng)域的研究中，廣大學者已經(jīng)提出了眾多優(yōu)秀的目標檢測模型，但這些模型都在VOC，COCO數(shù)據(jù)集上做的實驗，這兩數(shù)據(jù)集種類多，數(shù)據(jù)量大，所設(shè)計的模型結(jié)構(gòu)為了適應(yīng)數(shù)據(jù)集其結(jié)構(gòu)會設(shè)計的比較龐大。這些模型雖然可以直接用于交通標志分類檢測，但其模型結(jié)構(gòu)并不能完全契合交通標志檢測數(shù)據(jù)集，比如其錨點框的大小形狀，因此需要進行適應(yīng)性改進。

　　表4對比了其他經(jīng)典模型在本文數(shù)據(jù)集上的結(jié)果。其中Faster RCNN，R-FCN，F(xiàn)PN特征提取網(wǎng)絡(luò)都為經(jīng)過預(yù)訓練的ResNet101，其參數(shù)不參與更新，保持不變，訓練與檢測均為原尺寸。YOLO系列尺寸則為608x608，特征提取網(wǎng)絡(luò)為darknet。CenterNet特征提取網(wǎng)絡(luò)為DLA-34，尺寸為512x512。RetinaNet和Cascade RCNN的特征提取網(wǎng)絡(luò)為ResNet50-FPN，尺寸為原尺寸。各模型的錨點框大小均未進行調(diào)整。

　　從實驗結(jié)果可看出，F(xiàn)PN因為其多尺度的設(shè)計，在AP和AP75指標時明顯高于FasterRCNN與R-FCN這種單尺度的模型，證明了多尺度圖像特征金字塔可以有效檢測出交通標志這種小目標。但其使用的特征提取網(wǎng)絡(luò)為ResNet101速度偏慢，于是本文在CascadeRCNN選擇了參數(shù)較少ResNet50，并在其上使用FPN架構(gòu)。最終使用了多尺度和多閥值的CascadeRCNN在AP指標時取得最高，達到了77.2%，但在AP50指標時卻則只有95.5%，還不如未改進的R-FCN。原R-FCN由于位置敏感得分圖的設(shè)計，適合于交通標志這種有特定形狀的目標，且本文交通標志只有三類，位置敏感得分圖層數(shù)少，一定程度上加快了檢測的速度，因此原始的R-FCN在速度與精度都有不錯的表現(xiàn)。

　　使用512尺寸的CenterNet在本文所對比模型具有最快的速度，中心點的設(shè)計原理也契合交通標志這種對稱的物體，因此其整體表現(xiàn)不錯。而使用原尺寸的RetinaNet在AP和AP75指標時同樣具有較強的競爭力。YOLOv3與YOLOv4[23]算法則在608尺寸時和本文所提模型的檢測速度接近，可以發(fā)現(xiàn)YOLOv4的準確率明顯高于YOLOv3，是所有對比模型中準確率在AP50指標時最接近本文的，但在更嚴格的AP75和AP評價指標時，仍然與本文算法有不小的差距。可見本文可變形卷積的引入是有必要的，在速度接近的情況下，本文模型在更嚴格的評價指標時依然擁有著不小的優(yōu)勢。

　　3結(jié)束語

　　針對交通標志的檢測研究，本文先使用R-FCN算法進行研究，發(fā)現(xiàn)原始的R-FCN模型在準確率上已有良好的表現(xiàn)，但速度卻偏低，難以達到實時的要求，因此如何提升R-FCN的檢測速度和準確率成為本文關(guān)注的兩個重點。筆者通過模型簡化，K-means算法錨點框聚類，并將可變形卷積和可變形位置敏感RoI池化層加入到簡化后的模型中，在訓練過程中使用在線困難例挖掘策略。實驗結(jié)果表明，整個模型在速度提升的同時又不失精度，準確率高于其他經(jīng)典模型，速度接近于實時，在精度與速度上取得了較優(yōu)的平衡。在未來的工作中，將為模型尋找更適合于交通標志檢測的特征提取網(wǎng)絡(luò)，進一步提升模型檢測的速度與精度。