固體金屬垃圾分類中基于深度學(xué)習(xí)方法的研究

　　摘 要：固體金屬垃圾具有巨大的回收利用空間和經(jīng)濟(jì)再利用價(jià)值.在日常生活中，金屬垃圾的分類回收主要依靠傳統(tǒng)人工分類，費(fèi)時(shí)費(fèi)力.為此本文提出一種基于深度學(xué)習(xí)的方法對(duì)金屬垃圾進(jìn)行分類：構(gòu)建一個(gè)包含6類共 17 804張圖片的固體金屬垃圾數(shù)據(jù)集并命名為GX-TrashNet;采用ResNet-101作為分類模型，加入注意力機(jī)制模塊提升模型的分類準(zhǔn)確率;使用卷積核大小為1*1的卷積層代替注意力機(jī)制模型中的全連接層，使用全局平均池化層作為分類器.實(shí)驗(yàn)結(jié)果表明，改進(jìn)后的模型在GX-TrashNet上的分類準(zhǔn)確率為97.00%，在TrashNet上分類準(zhǔn)確率為80.87%.

　　關(guān)鍵詞：固體金屬垃圾;垃圾分類;深度學(xué)習(xí);注意力模塊;卷積神經(jīng)網(wǎng)絡(luò)

　　呂東; 王萍; 王宇航; 王智文; 張燦龍， 廣西科技大學(xué)學(xué)報(bào) 發(fā)表時(shí)間：2021-11-12

　　0 引言

　　垃圾是放錯(cuò)了位置的資源，相比于生活垃圾分類回收，金屬垃圾回收再利用有著巨大的經(jīng)濟(jì)效益和社會(huì)效益，并且金屬垃圾形態(tài)相對(duì)固定，容易分辨.垃圾分類在計(jì)算機(jī)視覺中屬于圖像分類.圖像分類是人臉識(shí)別[1-2] 、目標(biāo)檢測(cè)等高級(jí)任務(wù)的重要基礎(chǔ).隨著人工智能技術(shù)的發(fā)展，越來越多的研究人員開始采用深度學(xué)習(xí)方法進(jìn)行垃圾分類.文獻(xiàn)[3]構(gòu)建了一個(gè)公開的包括6類共2 527張垃圾圖片的數(shù)據(jù)集TrashNet，在該數(shù)據(jù)集上有許多研究者進(jìn)行了一系列實(shí)驗(yàn)[4-15] ，其中具有代表性的有：Adedeji 等[11] 將 ResNet-101 的分類器替換為 SVM，在訓(xùn)練中采用 ImageNet 數(shù)據(jù)集上預(yù)訓(xùn)練好的權(quán)重，取得了 87.00% 的準(zhǔn)確率 . 文獻(xiàn)[12]將輕量型網(wǎng)絡(luò) Mo‐ bileNet用到該數(shù)據(jù)集上進(jìn)行訓(xùn)練，取得 87.20% 的準(zhǔn)確率，并且推出了能用于實(shí)際測(cè)試的垃圾分類 APP.文獻(xiàn)[13]提出了一種輕量型垃圾分類模型Re‐ cycleNet，在實(shí)驗(yàn)中盡管測(cè)試速度較慢，但該模型大大減少了模型參數(shù)，降低了模型復(fù)雜度 .Yang 等[14] 提出了一種輕量型模型 WasNet，在實(shí)驗(yàn)中對(duì)比了AlexNet、VGG-19和Iception-ResNet在該數(shù)據(jù)集上的分類性能，其中WasNet的分類準(zhǔn)確率最佳，為 96.10%;此外，該作者還將訓(xùn)練好的模型嵌入移動(dòng)端進(jìn)行了測(cè)試 . 文獻(xiàn)[15]對(duì)比了多種卷積神經(jīng)網(wǎng)絡(luò)模型，在訓(xùn)練前加載 ImageNet 數(shù)據(jù)集上的預(yù)訓(xùn) 練 權(quán) 重 ， 在 訓(xùn) 練 時(shí) 進(jìn) 行 參 數(shù) 微 調(diào) ， 使 用 DenseNet-121取得了95.00%的準(zhǔn)確率.

　　雖然TrashNet數(shù)據(jù)集憑借圖像尺寸統(tǒng)一和背景干凈的優(yōu)勢(shì)使許多學(xué)者完成了一系列優(yōu)秀的實(shí)驗(yàn)，但是TrashNet數(shù)據(jù)量小，分類類別范圍模糊，模型訓(xùn)練很容易過擬合.而且現(xiàn)階段實(shí)驗(yàn)研究多為基于生活垃圾的分類，對(duì)于固體金屬垃圾的分類研究較少，因此，有必要采用深度學(xué)習(xí)方法對(duì)固體金屬垃圾進(jìn)行分類研究.

　　1 相關(guān)內(nèi)容簡(jiǎn)介

　　1.1 數(shù)據(jù)集簡(jiǎn)介

　　在垃圾分類任務(wù)中，最常用的數(shù)據(jù)集是由斯坦福大學(xué) Yang 等[3] 收集構(gòu)建的包括 6 類共 2 527 張垃圾圖像數(shù)據(jù)集TrashNet.TrashNet數(shù)據(jù)集如圖1、表 1所示.

　　通過實(shí)際調(diào)研發(fā)現(xiàn)，目前尚無開源的固體金屬垃圾數(shù)據(jù)集可供使用，因此，參考TrashNet數(shù)據(jù)集格式，構(gòu)建了一個(gè)包含6類共17 804張固體金屬垃圾圖片的數(shù)據(jù)集GX-TrashNet. GX-TrashNet數(shù)據(jù)集如圖 2、表 2 所示 .GX-TrashNet 主要由手機(jī)實(shí)地拍攝、網(wǎng)絡(luò)爬蟲和人工手動(dòng)數(shù)據(jù)增強(qiáng)3種不同方法構(gòu)成.在初步收集部分?jǐn)?shù)據(jù)集后，隨機(jī)對(duì)部分圖像做了旋轉(zhuǎn)、左右翻轉(zhuǎn)、對(duì)比度增強(qiáng)和亮度變化數(shù)據(jù)擴(kuò)充操作，部分樣本數(shù)據(jù)擴(kuò)充如圖3所示.

　　1.2 模型的選擇及改進(jìn)

　　選擇ResNet-101作為固體金屬垃圾分類模型. 在 ResNet 提出之前，研究人員發(fā)現(xiàn)隨著神經(jīng)網(wǎng)絡(luò)層數(shù)的加深，神經(jīng)網(wǎng)絡(luò)的訓(xùn)練不可避免地出現(xiàn)了退化問題 . 而 ResNet 的提出很好地解決了這一問題，最大的創(chuàng)新點(diǎn)是殘差學(xué)習(xí)單元的提出.殘差學(xué)習(xí)單元在神經(jīng)網(wǎng)絡(luò)的輸入層和輸出層之間建立了一條直接的關(guān)聯(lián)通道，使得底層信息特征與高層信息特征更好地融合.文獻(xiàn)[16]證明，對(duì)比直接堆疊的網(wǎng)絡(luò)，殘差學(xué)習(xí)單元的提出將網(wǎng)絡(luò)計(jì)算性質(zhì)從乘法變?yōu)榧臃ǎ瑥亩屔窠?jīng)網(wǎng)絡(luò)計(jì)算變得更加穩(wěn)定，可訓(xùn)練的網(wǎng)絡(luò)層數(shù)也大大增加.殘差學(xué)習(xí)單元如圖4所示.

　　在確定了分類模型之后，由于收集的固體金屬垃圾數(shù)據(jù)集在收集完畢后并沒有做過多的預(yù)處理，因此，數(shù)據(jù)集內(nèi)存在很多背景復(fù)雜、圖像模糊、難以辨認(rèn)類別的圖像.對(duì)于卷積神經(jīng)網(wǎng)絡(luò)模型來說，圖像復(fù)雜的背景會(huì)干擾模型提取特征并影響分類的正確性.因此，加入注意力機(jī)制，忽略圖像中無關(guān)信息而關(guān)注重點(diǎn)信息十分必要.本文對(duì)于ResNet-101的改進(jìn)主要分為3部分：首先，在網(wǎng)絡(luò)模型中加入注意力模塊來提高分類準(zhǔn)確率;其次，使用卷積核大小為1*1的卷積層替代注意力模塊中的全連接層;最后，使用全局平均池化層作為分類器.

　　2 對(duì)比實(shí)驗(yàn)與結(jié)果分析

　　本 文 對(duì) 比 了 ResNet-101 分 別 加 入 SE[17] 和 CBAM[18] 前后在 TrashNet 和 GX-TrashNet 數(shù)據(jù)集上的分類性能指標(biāo).將TrashNet數(shù)據(jù)集和GX-TrashNet 數(shù)據(jù)集按照6∶2∶2劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集.數(shù)據(jù)集劃分后的樣本數(shù)量如表3所示.

　　在進(jìn)行ResNet-101加入注意力模塊前后對(duì)比實(shí)驗(yàn)之前，加載了在 ImageNet 數(shù)據(jù)集上預(yù)訓(xùn)練好的 ResNet-101 權(quán)重，并在 TrashNet 和 GX-TrashNet 數(shù)據(jù)集上進(jìn)行訓(xùn)練.在訓(xùn)練中凍結(jié)ResNet-101中所有卷積層，只訓(xùn)練自定義的分類器 .ResNet-101 模型改進(jìn)前的訓(xùn)練細(xì)節(jié)如表4所示.

　　為了能夠使用在ImageNet上預(yù)訓(xùn)練好的模型權(quán)重，只在ResNet-101的最后一個(gè)卷積塊中加入注意力模塊.在訓(xùn)練時(shí)，不凍結(jié)任何層，使用動(dòng)態(tài)學(xué)習(xí)率，設(shè)置最大學(xué)習(xí)率為 1e-4，最小學(xué)習(xí)率為 1e-6，學(xué)習(xí)率縮放比例設(shè)置為0.3，設(shè)置Patience 為2，監(jiān)測(cè)指標(biāo)為驗(yàn)證集損失 .ResNet-101 模型改進(jìn)后的訓(xùn)練細(xì)節(jié)如表5所示.

　　2.1 評(píng)價(jià)指標(biāo)

　　選擇混淆矩陣，將準(zhǔn)確率A(Accuracy)、查準(zhǔn)率 P(Precision)、 召 回 率 R(Recall)、 特 異 度 S (Specificity)作為評(píng)價(jià)指標(biāo) . 混淆矩陣如表 6 所示，其余模型性能評(píng)價(jià)指標(biāo)分別如式(1)—式(4)所示.

　　其中：NTP 表示樣本被正確檢測(cè)出來的個(gè)數(shù)，NFP表示其他樣本被誤檢成本樣本的個(gè)數(shù)，NFN 表示誤將樣本檢測(cè)出其他樣本的個(gè)數(shù);NTN 表示非本樣本檢測(cè)出非本樣本的個(gè)數(shù).

　　2.2 實(shí)驗(yàn)結(jié)果對(duì)比分析

　　首先進(jìn)行了 ResNet-101 在 TrashNet 數(shù)據(jù)集和 GX-TrashNet數(shù)據(jù)集上加入SE前后的對(duì)比實(shí)驗(yàn)，其中空洞率ratio設(shè)置為16.為了方便對(duì)比分類模型的整體性能指標(biāo)，將各個(gè)類別的Precision、Recall和Specificity 求和取得平均值 . 混淆矩陣如圖 5 所示，各個(gè)類別的評(píng)價(jià)指標(biāo)如表7和表8所示，模型改進(jìn)前后的性能指標(biāo)如表9所示.

　　通過對(duì)比表7—表9，可以看出，加入SE后，在 GX-TrashNet數(shù)據(jù)集上模型準(zhǔn)確率由87.01%增長(zhǎng)到 97.04%，提高了10.03%，查準(zhǔn)率提高了8.92%，召回率提高了9.85%，特異度提高了2.00%;在Trash‐ Net數(shù)據(jù)集上模型準(zhǔn)確率提高了1.19%，查準(zhǔn)率提高了 0.28%，召回率提高了 2.97%，特異度提高了 0.35%.綜上所述，加入SE模塊后，ResNet-101_V1 在 2 個(gè)數(shù)據(jù)集上的各項(xiàng)性能指標(biāo)都有了增長(zhǎng)，但 TrashNet數(shù)據(jù)集樣本數(shù)量較少，增長(zhǎng)并不明顯.

　　其次進(jìn)行了 ResNet-101 在 TrashNet 數(shù)據(jù)集和 GX-TrashNet 數(shù)據(jù)集上加入 CBAM 前后的對(duì)比實(shí)驗(yàn)，其中空洞率ratio設(shè)置為16.同樣地，為了方便對(duì)比分類模型的整體性能指標(biāo)，將各個(gè)類別的Pre‐ cision、Recall 和 Specificity 求和取得平均值 . 混淆矩陣如圖6所示，各個(gè)類別的評(píng)價(jià)指標(biāo)如表10和表 11所示，模型改進(jìn)前后的性能指標(biāo)如表12所示.

　　通過對(duì)比表 10—表 12，可以看出，雖然加入 SE 模塊和 CBAM 模塊在 GX-TrashNet 數(shù)據(jù)集上取得近似一致的性能指標(biāo)，但是在TrashNet數(shù)據(jù)集上并沒有明顯的提高，反而降低了部分性能指標(biāo).可能的原因有：1)TrashNet 數(shù)據(jù)集本身的樣本數(shù)量少，在訓(xùn)練中出現(xiàn)了過擬合現(xiàn)象，導(dǎo)致模型在訓(xùn)練時(shí)沒有達(dá)到最佳性能指標(biāo)時(shí)就已經(jīng)早停了;2) CBAM模塊較SE模塊結(jié)構(gòu)復(fù)雜，在通道注意力模塊(CAM)和空間注意力模塊(SAM)中分別 2 次使用平均值池化和最大值池化操作，很有可能部分圖像特征信息因此被裁剪掉;3)TrashNet數(shù)據(jù)集的背景較GX-TrashNet數(shù)據(jù)集的背景干凈，圖像尺寸統(tǒng)一，因此，特征信息可能會(huì)丟失的更多.

　　3 結(jié)論

　　本文對(duì)基于注意力機(jī)制的深度學(xué)習(xí)固體金屬垃圾分類進(jìn)行了研究，獲得如下結(jié)論：

　　1)針對(duì)固體金屬垃圾分類研究實(shí)驗(yàn)的不足，收集了 6 類共 17 804 張垃圾圖像，并命名為 GXTrashNet.選用ResNet-101作為分類模型.為提高分類準(zhǔn)確率，加入注意力機(jī)制模塊，并使用全局平均池化層代替分類器，使用卷積核大小為1*1的卷積層代替注意力機(jī)制模塊中的全連接層.

　　2)在加入SE模塊后，ResNet-101在2個(gè)數(shù)據(jù)集上的各項(xiàng)性能指標(biāo)都有了增長(zhǎng)，但在TrashNet數(shù)據(jù)集上增長(zhǎng)的并不明顯 . 在加入注意力機(jī)制模塊 SE 后，ResNet-101在GX-TrashNet數(shù)據(jù)集上模型準(zhǔn)確率由 87.01% 增長(zhǎng)到 97.04%，提高了 10.03%，在 TrashNet 數(shù)據(jù)集上模型準(zhǔn)確率由 79.68% 增長(zhǎng)到 80.87%，只提高了1.19%.

　　3)在加入注意力機(jī)制模塊 CBAM 后，ResNet101在GX-TrashNet數(shù)據(jù)集上取得了與加入SE模塊后類似的分類性能指標(biāo)，但是在TrashNet數(shù)據(jù)集上分類準(zhǔn)確率下降了1.6%.通過分析，最終選擇使用 SE模塊，并且設(shè)置Ratio為16.