基于憶阻器邊緣計算的圖像分類電路設(shè)計

　　摘 要: 本文針對邊緣智能設(shè)備低功耗，輕算力的要求，采用了新型存算一體器件­憶阻器作為基礎(chǔ)電路元件，設(shè)計了低功耗、圖像識別電路。該電路采用多個憶阻卷積層和憶阻全連接網(wǎng)絡(luò)串聯(lián)的方式，獲得了較高的識別精度。為了減小憶阻卷積層計算所需的憶阻交叉陣列的行尺寸和列尺寸的不平衡，同時降低輸入電壓方向電路的功耗，將輸入電壓反相器置于憶阻交叉陣列之后。該電路可以將完成憶阻卷積網(wǎng)絡(luò)運算所需的憶阻交叉陣列的行大小從 2M+1 減少到 M+1，同時將單個卷積核計算所需的反相器的數(shù)量降低到了 1，從而大幅度降低了憶阻卷積網(wǎng)絡(luò)的體積和功耗。利用數(shù)學(xué)近似，將 BN 層和 dropout 層計算合并到 CNN 層中，減小網(wǎng)絡(luò)層數(shù)同時降低電路的功耗。通過在 CIFAR­10 數(shù)據(jù)集上的實驗表明，該電路可以有效地對圖像進行分類，同時具備推理速度快 (136ns) 和功耗低的優(yōu)點 (單個神經(jīng)元功耗小于 3.5uW)。

　　羅佳; 冉歡歡; 何凱霖; 丁曉峰， 控制與決策 發(fā)表時間：2021-08-02

　　關(guān)鍵詞: 邊緣計算;憶阻器;卷積;反相器;數(shù)據(jù)集;神經(jīng)元

　　0 引 言

　　隨著近年來人工智能的蓬勃發(fā)展，大量卷積神經(jīng)網(wǎng)絡(luò)相繼被提出，而進一步依托于互聯(lián)網(wǎng)的高速發(fā)展，由大量數(shù)字處理設(shè)備和服務(wù)器所組成的大型數(shù)據(jù)計算中心相應(yīng)產(chǎn)生，這為各類模型的提出和運算提供了極佳的實驗基礎(chǔ)，同時數(shù)據(jù)計算中心的不斷擴大，也相應(yīng)促進互聯(lián)網(wǎng)技術(shù)的相應(yīng)發(fā)展，云計算正式誕生。云計算擁有大量的應(yīng)用場景和需求，在商用上，類似于谷歌和亞馬遜這樣的互聯(lián)網(wǎng)公司早早布局 [1­2]，擁有了持續(xù)的用戶數(shù)據(jù)接入。云計算目前擁有廣闊的市場和用戶，主要通過網(wǎng)絡(luò)通信接入海量的用戶數(shù)據(jù)運算后，反饋給用戶。顯然，整個過程極度依賴網(wǎng)絡(luò)通信，對通信要求較高，同時由于雙向通信會損失一部分的時間延時，對應(yīng)高響應(yīng)要求的處理事件不友好。而涉及到用戶數(shù)據(jù)，對于用戶的隱私保護和接入管理也同樣重要，云計顯得難以處理以上問題。在這樣的情況下，邊緣計算進入了大家的視野，將用戶數(shù)據(jù)保留于邊緣端，減少數(shù)據(jù)對于云計算的上傳，降低通信要求，在邊緣端部署部分算力，滿足低功耗要求，并且對用戶隱私數(shù)據(jù)進行實時保護 [3]。邊緣設(shè)備的計算方式正是解決上述問題的合理設(shè)計。而在對于海量圖像數(shù)據(jù)分析和處理領(lǐng)域，深度學(xué)習(xí)網(wǎng)絡(luò)擁有極佳的效率和性能，這可以滿足圖像識別對效率和精度的要求。而圖像數(shù)據(jù)的分析和處理的效率及性能極大程度取決于神經(jīng)網(wǎng)絡(luò)的構(gòu)架，Iandola 等人提出了一個名為“squeezunet”的小型卷積神經(jīng)網(wǎng)絡(luò)架構(gòu) [4]。Szegedy 等人提出了一個更加深入的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，稱為 Inception[5]。 Dai 等人對 Szegedy 的研究進行了改進 [6]。Zeiler 和 Fergus 提出了一種可視化卷積神經(jīng)網(wǎng)絡(luò)激活函數(shù) [7]，Google 的研究人員提出了 BlazeFace[8] 一個超高性能的人臉檢測網(wǎng)絡(luò)，通過 BlazeFace，移動平臺上可以達到 1ms 以內(nèi)的檢測速度，拓寬了很多基于邊緣計算的人臉相關(guān)聯(lián)應(yīng)用的發(fā)展空間。Krizhevsky 等人提出了一種深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) AlexNet，這是深度學(xué)習(xí)的一個重大突破 [9]。AlexNet 由 5 個卷積層和 3 個全連接層組成。這種架構(gòu)使用圖形處理單元(GPU)進行卷積運算，ReLU 作為激活函數(shù)， ReLU 激活函數(shù)不僅在計算方面比 Sigmoid 更加簡單，而且可克服 Sigmoid 函數(shù)在接近 0 和 1 時難以訓(xùn)練的問題。并使用 dropout 來減少過擬合問題 [10]。傳統(tǒng)深度學(xué)習(xí)對于計算能力的需求極大，傳統(tǒng)的馮諾依曼計算機體系結(jié)構(gòu)通過運算器和控制器進行數(shù)據(jù)處理，利用提取和存儲存儲器內(nèi)的數(shù)據(jù)，數(shù)據(jù)傳輸效率較低，而神經(jīng)態(tài)計算計算結(jié)構(gòu)，有別與傳統(tǒng)的馮諾依曼計算機體系結(jié)構(gòu)，以生物神經(jīng)元系統(tǒng)的信息傳遞為參照，實現(xiàn)神經(jīng)系統(tǒng)類似的神經(jīng)元的計算 [11]。而作為模擬神經(jīng)元的基礎(chǔ)電路元件所需的元件信息的傳遞功能，系統(tǒng)記憶學(xué)習(xí)能力和高度靈敏性也是目前神經(jīng)態(tài)計算系統(tǒng)面臨的主要問題。隨著近年來元件領(lǐng)域的發(fā)展，納米級原件出現(xiàn)并迅速被廣泛應(yīng)用，比傳統(tǒng) CMOS 體積更小的納米硅薄膜晶體管的出現(xiàn)，不僅大大降低了電路的功耗，電路的速度也得到極大的提升 [12]。憶阻器的出現(xiàn)為上述問題提供了理想的解決方案。憶阻器是具有動態(tài)特性的電阻器，根據(jù)激勵電壓其阻值可變 [13]。與傳統(tǒng)電路元件相比，憶阻器的記憶性和靈活性使其更適應(yīng)于神經(jīng)態(tài)計算計算結(jié)構(gòu)。并且由于憶阻器納米級尺寸和高速的特性，非常適合邊緣設(shè)備的低功耗和速度要求。因此，憶阻器可以作為神經(jīng)態(tài)計算計算結(jié)構(gòu)的基礎(chǔ)電路元件進行神經(jīng)網(wǎng)絡(luò)突觸功能的記憶儲存功能，實現(xiàn)深度學(xué)習(xí)網(wǎng)絡(luò)的結(jié)合，擁有廣闊的應(yīng)用空間 [14]。T.A.Bala 等人提出針對憶阻器深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的高效激活電路，從電路設(shè)計方向?qū)涀枭窠?jīng)網(wǎng)絡(luò)進行優(yōu)化 [15]。S.wen 和 H. Liu 和 J. Chen 等人針對憶阻器神經(jīng)網(wǎng)絡(luò)實際應(yīng)用場景對網(wǎng)絡(luò)進行裁剪和優(yōu)化，通過二值化和稀疏化等方法降低網(wǎng)絡(luò)對憶阻器性能要求，提高性能 [16­18]。G. Bao 等人針對憶阻器模型與組成電路特性，對比傳統(tǒng)網(wǎng)絡(luò)電路，基于電壓電流關(guān)系，仿真證明憶阻器網(wǎng)絡(luò)模型性能和優(yōu)越性 [19]。G.Wan 等人通過聯(lián)系憶阻器再神經(jīng)網(wǎng)絡(luò)中的應(yīng)用，從電路和網(wǎng)絡(luò)上設(shè)計了一種具有改進的憶阻器遺忘模型，通過仿真證明有效性，在模擬人腦運算及記憶方面提供了可能性 [20]。通過上述工作，基于憶阻器構(gòu)建的神經(jīng)網(wǎng)絡(luò)電路為邊緣設(shè)備計算有著廣闊的應(yīng)用前景和大量的實踐證明，本文從神經(jīng)網(wǎng)絡(luò)各層的運算要求出發(fā)，對整體網(wǎng)絡(luò)構(gòu)架優(yōu)化電路，設(shè)計出適合各層網(wǎng)絡(luò)的憶阻器運算電路，依托于憶阻器記憶和計算一體的特性，提高圖像識別的效率，降低運算所需的功耗。

　　1 基本憶阻器神經(jīng)電路

　　1.1 憶阻器模型

　　憶阻器的常用模型采用了其電壓閾值的特性，只有當(dāng)輸入電壓超過憶阻器的閾值電壓時憶阻器的阻抗才會發(fā)生變化。輸入電壓 V (t)，憶阻器阻抗 G(t)，和當(dāng)前產(chǎn)生電流 I(t) 有以下關(guān)系:

　　1.2 憶阻器交叉陣列和記憶卷積層

　　Vin 是外圍控制電路的輸入(j 是憶阻器交叉陣列的字線號數(shù)，Vin 是一個 j 維向量)。根據(jù)基爾霍夫電流定律，電路中任一個節(jié)點上在任一時刻，流入節(jié)點的電流之和等于流出節(jié)點的電流之和。

　　I 是一個 N 維向量，G 是一個 M ×N 的電導(dǎo)矩陣。對于一個 M ×N 的憶阻器交叉陣列，M ×N 維加法和乘法可同時進行，極大地提高了矩陣運算效率并且降低了功耗。而隨著憶阻器交叉陣列規(guī)模的增加，計算量需求更大的矩陣和向量也可以得到滿足。記憶卷積層的計算主要是向量與矩陣的點乘運算，F(xiàn)C 層可以看作是一種 H=1，W=1 的特殊卷積層。記憶卷積層由多個卷積核組成，輸出特征映射由卷積核的卷積結(jié)果和輸入數(shù)據(jù)組成。令第 k 次記憶卷積層的輸入圖像為 Hλk in×W λk in×Cλk in, 卷積核為 n×n，步長為 1，其中 n 為用戶決定的參數(shù)。當(dāng)使用相同的填充模式時，輸出特征映射為 Hλk out ×W λk out ×Cλk out。 (i, j, c) 輸出特征可表示為

　　如果 i 和 j 是不變的，那么第 c 次卷積核 Wc 和輸入數(shù)據(jù) I i,j in 是不變的，可以在憶阻器交叉陣列位線中得到一個輸出特征映射的值。通過上圖所示憶阻器交叉陣列，我們需要 (2×N2+1)×Cin 個憶阻器交叉陣列才能在一個卷積計算周期內(nèi)得到一個 1 × 1 × Cout

　　1.3 憶阻卷積神經(jīng)網(wǎng)絡(luò)上的批量標(biāo)準(zhǔn)化

　　在深度神經(jīng)網(wǎng)絡(luò)中批量標(biāo)準(zhǔn)化層是一種典型的處理層。主要是為標(biāo)準(zhǔn)化每一層的輸入。理想的數(shù)據(jù)標(biāo)準(zhǔn)化公式如下: xˆ (k) bn = x (k) bn − E[x (k) bn ] √ V ar[x (k) bn ] . (7) 數(shù)據(jù)標(biāo)準(zhǔn)化將影響下一層網(wǎng)絡(luò)學(xué)習(xí)提取的特征。因此，BN 層還會包括數(shù)據(jù)重建功能。BN 層的輸出如下: γ (k) bn = β (k) bn xˆ (k) bn + ρ (k) bn , (8) β (k) bn 和 ρ (k) bn 是本層的學(xué)習(xí)參數(shù)，在反向傳播網(wǎng)絡(luò)中， BN 層的參數(shù)包括 E\[x (k) bn ]，D\[x (k) bn ]。E\[x (k) bn ] 和 D\[x (k) bn ] 是網(wǎng)絡(luò)訓(xùn)練過程中所有數(shù)據(jù)的均值和方差的統(tǒng)計值。在后面的網(wǎng)絡(luò)中這兩個參數(shù)可以通過下述方程計算:由于式 (7) 和式 (14) 意義相同，因此可只改變憶阻器交叉陣列的系數(shù)，便可以使 BN 層和 CNN 層共用一個憶阻器交叉陣列。當(dāng)一個內(nèi)核為 N 的 CNN 層后連接著一個 BN 層時，具體電路如圖 2(a) 所示，通過共用憶阻器減少了運算放大器的使用，這樣大大降低了功耗。

　　1.4 池化操作

　　池化層將輸入的特征映射分割為多個 N × N 的單元進行最大和平均值的計算，進一步簡化提取特征，因此提取的特征圖像尺寸變?yōu)樵瓉淼?1 N2。最大池化和平均池化是池化層的主要操作方式。最大池化通過并聯(lián)的兩個 nmos 二極管選擇輸入中的最大電壓，如圖 2(b) 所示，若輸入數(shù)大于 2，可以通過多個下述結(jié)構(gòu)組合完成。平均池化一般通過加法電路實現(xiàn)，如圖 2(c) 所示，平均池化輸出一般可以通過下述計算：因此可以用這樣的加法電路可以用于憶阻神經(jīng)網(wǎng)絡(luò)池化層。

　　1.5 限流二極管下的 ReLU

　　ReLU 函數(shù)是人工神經(jīng)網(wǎng)絡(luò)中的典型激活函數(shù) [21]。其計算簡單，有效避免梯度消失和梯度爆炸的特性，在深度神經(jīng)網(wǎng)絡(luò)中得到了廣泛的應(yīng)用。ReLU 函數(shù)通過以下方式將線形輸入非線性化。

　　ReLU 的實現(xiàn)相當(dāng)于單向限制電路，只允許電壓大于 1 的信號通過，因此限流二極管非常適合擔(dān)當(dāng) ReLU 電路的基礎(chǔ)元件。但由于 ReLU 層的輸出可能會大于憶阻器的閾值，所以在 ReLU 后加上限制電路，實現(xiàn)方式如下。

　　F(x) = min(max(0, MT X + B), Vl). (18) 在本文實現(xiàn) ReLU 層選用限流二極管的另一個原因是功耗較低，在此基礎(chǔ)上，只需加上一個上限二極管，實現(xiàn)如圖 2(d) 所示。當(dāng)導(dǎo)通時電路存在壓降，所以在理論計算時應(yīng)該加上二極管的偏置電壓。

　　2 憶阻卷積神經(jīng)網(wǎng)絡(luò)的圖像分類

　　2.1 概述

　　憶阻卷積神經(jīng)網(wǎng)絡(luò)由 5 個卷積層和 2 個全連接層組成，其輸入圖像是尺寸為 32×32×3 的 RGB 色彩圖像。前四個卷積層每層之間由一個最大池化層連接，第五個卷積層后經(jīng)過平均池化層輸出到全連接層。全連接層輸出后通過遞增函數(shù) softmax(x) 層將分類網(wǎng)絡(luò)結(jié)果 x 進行標(biāo)準(zhǔn)化映射到 0­1。softmax(x) 層輸出值最大的通道代表輸入圖像的分類結(jié)果，如圖 3 所示。

　　2.2 憶阻卷積層

　　根據(jù)文章 [22]，卷積層的參數(shù)可以分離為一個正系數(shù)矩陣 K+ 和一個負(fù)系數(shù)矩陣 K−，當(dāng) σb > 0， xb > 0 時

　　對圖像分類的第一層憶阻卷積層，卷積核的大小為 3×3×3，輸出通道數(shù)為 32。為了實現(xiàn)卷積核的計算需求，則需要憶阻器交叉陣列的規(guī)模為 (3 × 3 × 3 + 1) × 32 × 2。通過 DAC 將數(shù)據(jù)轉(zhuǎn)換輸入進憶阻器交叉陣列，經(jīng)過 BN 層和 RELU 處理后，通過 ADC 轉(zhuǎn)換將數(shù)據(jù)送出，如圖 4(a) 所示。

　　2.3 最大池化和憶阻卷積層

　　在第一個憶阻卷積層輸出后，經(jīng)過最大池化層處理后的數(shù)據(jù)輸入第二個憶阻卷積層，第二次憶阻卷積的卷積核尺寸為 3×3×3，輸出通道數(shù)為 64，為了實現(xiàn)卷積核的計算需求，則需要憶阻器交叉陣列的規(guī)模為 (3 × 3 × 32 + 1) × 64 × 2，如圖 4(b) 所示。

　　2.4 平均池化和全連接層

　　在第五個憶阻卷積層輸出后，經(jīng)過平均池化層處理后的數(shù)據(jù)輸入全連接層。將之前憶阻卷積層計算的特征映射為 3 × 3 × 256 映射為 1 × 1 × 512 的特征向量，需要平均池化電路實現(xiàn)，為了提高計算速度，可以通過同時鋪設(shè)多個平均池化電路，降低計算周期數(shù)來減少電路搭建，在一個周期內(nèi)結(jié)束運算，提高整體運算速率，如圖 4(c) 所示。

　　3 實驗分析

　　3.1 精準(zhǔn)度分析

　　目前國內(nèi)外學(xué)者根據(jù)憶阻器的電路特性，建立了大量完善的 MATLAB 的仿真模型，本文的仿真模型采用的是學(xué)者們公認(rèn)的密歇根大學(xué)盧偉教授提出的基于 MATLAB 的憶阻器電路模型 [23]，能夠有效模擬憶阻器的電學(xué)特性。本文首先建立憶阻器的 MATLAB 電路模型，然后對神經(jīng)網(wǎng)絡(luò)中的各層進行了電路設(shè)計，完成了憶阻卷積神經(jīng)網(wǎng)絡(luò)電路的構(gòu)建。通過文章 [24] 對憶阻器網(wǎng)絡(luò)參數(shù)進行編程。輸入尺寸為 32×32×3 的 RGB 圖像，輸出對該圖像的十種分類的預(yù)測。數(shù)據(jù)上采用 CIFAR­10 數(shù)據(jù)集，該數(shù)據(jù)集包含十種分類的對象，每種分類圖像數(shù)量為 6000 張，總共 60000 張圖像數(shù)據(jù)集。本文實驗采用十個分類每個分類 5000 張，總共 50000 張圖像進行訓(xùn)練，最后 10000 張圖像進行檢驗測試，準(zhǔn)確率大于 %86，如圖 5 所示。

　　3.2 能耗分析

　　在憶阻卷積神經(jīng)網(wǎng)絡(luò)中有五個憶阻卷積層和兩個全連接層。從憶阻卷積神經(jīng)網(wǎng)絡(luò)的圖像分類中可以得出卷積層的等效電導(dǎo)率分布，如圖 6(a) 所示，并由等效電導(dǎo)率可以計算出憶阻卷積神經(jīng)網(wǎng)絡(luò)的功耗。功耗主要由兩部分組成，一是來源于寫入電導(dǎo)率，二是預(yù)測過程產(chǎn)生功耗，上述兩個過程組成了憶阻卷積神經(jīng)網(wǎng)絡(luò)工作的主要流程。基于憶阻卷積神經(jīng)網(wǎng)絡(luò)的圖像分類功耗可以通過下述公式得到：

　　上式中，U 是通過單個憶阻器的電壓，G 為憶阻器的等效電導(dǎo)率，W 是憶阻器消耗的功率，由于憶阻器的 1 Gon 和 1 Goff 分別為 1K? 和 1M?，所以憶阻器的等效電壓電導(dǎo)率分別為 10−3 和 10−6。為了匹配網(wǎng)絡(luò)的權(quán)重，網(wǎng)絡(luò)權(quán)重和憶阻器電導(dǎo)率關(guān)系如下:

　　令 β=0.6，寫入電壓為 G(t)=6.5V，則可得出每個憶阻卷積層的功耗，如圖 6(b) 在導(dǎo)通階段，憶阻卷積平均功耗為 3.5μW。在網(wǎng)絡(luò)中的預(yù)測過程，功耗隨著輸入數(shù)據(jù)變化而變化，可以采用寫入電壓最大時的最大功耗表示，如圖 6(c) 所示。顯然，由以上兩個過程組成的憶阻卷積神經(jīng)網(wǎng)絡(luò)的主要功耗，遠遠小于 CMOS 電路下同樣計算過程的功耗 [25]。表一展示了憶阻卷積神經(jīng)網(wǎng)絡(luò)所需要的憶阻器資源量，由于憶阻器的尺寸一般為方形，為了盡可能發(fā)揮憶阻器的優(yōu)勢并且合理利用資源，通常使憶阻器的行和列數(shù)目盡可能接近。表中可看出需要資源量最大的過程為第四個 MCCN 層，所以這里設(shè)計憶阻器交叉陣列規(guī)模為 2305×2305，電路便可以滿足網(wǎng)絡(luò)要求。憶阻器的響應(yīng)時間在 100ps 以下，如果按照每個計算周期 100ps 計算，則本文設(shè)計的憶阻神經(jīng)網(wǎng)絡(luò)電路所需的推理時間為：136.5ns。與文獻 [26] 相比，本文用多個最大池化電路在一個時鐘周期內(nèi)完成計算，將最大池化層的計算周期從 512 個時鐘周期降到了 1 個時鐘周期。因此本文設(shè)計的電路的推理時間更少，電路速度更快。在憶阻器的功耗方面，本文的設(shè)計的電路的單個憶阻器的功耗略高于文獻 [26] 的數(shù)據(jù)，但本文設(shè)計的電路只需要 5 個憶阻陣列，而文獻 [26] 需要 17 個憶阻陣列，在憶阻陣列的數(shù)量方面遠小于對比文章的結(jié)果。憶阻陣列的數(shù)量直接決定了憶阻神經(jīng)網(wǎng)絡(luò)電路的總功耗和面積。憶阻陣列的數(shù)量越多，憶阻神經(jīng)網(wǎng)絡(luò)電路的體積越大，總功耗越高。因此本文設(shè)計的電路在推理

　　4 結(jié)論

　　本文基于新型計算存儲材料，憶阻器構(gòu)建了憶阻神經(jīng)網(wǎng)絡(luò)電路用于圖像識別，并成功對 CIFAR­10 圖像進行了分類驗證。通過實驗，憶阻卷積神經(jīng)網(wǎng)絡(luò)能比傳統(tǒng)計算構(gòu)架以更高的實時性和更低的功耗進行圖像分類，通過對各層網(wǎng)絡(luò)電路的設(shè)計和優(yōu)化，使計算構(gòu)架更適合于當(dāng)前的神經(jīng)網(wǎng)絡(luò)和所針對的目標(biāo)分類。通過優(yōu)化，將卷積網(wǎng)絡(luò)運算所需的憶阻交叉陣列的行大小從 2M+1 減少到 M+1，通過對憶阻器交叉陣列系數(shù)的更改，在 BN 層和 CNN 層共用一個憶阻器交叉陣列，對運算放大器的替代，同時在ReLU 實現(xiàn)電路上通過二極管的限流，大大降低了功耗。實際電路的特征與目前 MATLAB 的仿真模型存在一定的差異，我們將在后續(xù)的實驗中進一步對仿真模型進行優(yōu)化。同時我們也將開展憶阻神經(jīng)網(wǎng)絡(luò)電路的設(shè)計與驗證工作，來證明本文的仿真電路的有效性。