基于生成對抗網(wǎng)絡的圖像風格轉換算法

　　摘要：針對圖像樣式轉換產(chǎn)生的圖像質量不高的問題，提出一種基于生成對抗網(wǎng)絡的高質量圖像樣式轉換方法。借鑒循環(huán)GAN網(wǎng)絡結構上的發(fā)電網(wǎng)絡相結合的方法采用跳層結構和UNet網(wǎng)絡中的殘差網(wǎng)絡，增強網(wǎng)絡的多尺度不變性;其次，在判別網(wǎng)絡方面，提出一種多尺度擴展卷積判別器，以改善圖像樣式的空間幾何變換。實驗證明，與CycleGAN算法相比，該算法在圖像樣式轉換中的效果有很大提升，圖像樣式轉換的質量也得到了提高。

　　關鍵詞：圖像風格轉換;GAN;CydeGAN;UNet殘差網(wǎng)絡

　　李權學;牛夢晨;陳睿麟;陳伊婷;杜帥;徐梓欣成都信息工程大學學報2021-12-13

　　0引言

　　隨著圖像技術的發(fā)展，改變圖像樣式已成為圖像處理領域的一個分支。圖像遷移技術是將一幅圖像的內容與一幅或多幅圖像的內容進行融合，得到一幅新圖像的技術。在神經(jīng)網(wǎng)絡出現(xiàn)前，為使一幅圖像具有另一幅圖像的特征，通過建立數(shù)學模型進行分析，不斷調整偏移模型，然后將圖像輸人到模型輸出結果中，完成圖像風格的偏移。直到2015年，Gayts等提出利用深度學習提取圖像紋理，通過梯度下降算法，不斷優(yōu)化模型參數(shù)，對遷移后的圖像進行建模，最終生成另一幅符合預期的圖像。其原理是在用深度神經(jīng)網(wǎng)絡(CNN)訓練圖像的過程中，靠近輸人層的特征映射包含更多的圖像紋理信息，而靠近輸出層的特征映射包含更多的內容信息。這種CNN訓練圖像的性質已經(jīng)成為最早的圖像風格轉換技術。在基于深度學習的圖像風格轉換處理技術中，目前應用最廣泛的是基于生成對抗網(wǎng)絡的圖像風格轉換處理技術。生成性對抗網(wǎng)絡GAN(Generative)，是從數(shù)學中的博弈論中衍生的一種對抗性學習方法。一般的理論是通過對數(shù)據(jù)的不斷訓練和迭代，網(wǎng)絡可以學習到圖像的特征。根據(jù)這一特性，可以生成接近原始數(shù)據(jù)的新數(shù)據(jù)。該方法具有很強的性能，目前已廣泛應用于各個領域。文獻[1]提出一種基于生成對抗網(wǎng)絡的固定物體步態(tài)識別方法;文獻[2]提出一種基于條件生成對抗網(wǎng)絡的焊接圖像修復方法;文獻[3]使用生成對抗網(wǎng)絡對自動視覺檢測進行建模和分析;文獻[4]研究具有圖像放大的超分辨率生成對抗網(wǎng)絡的降噪性能;文獻[5]提出一種基于一維卷積神經(jīng)網(wǎng)絡和條件生成對抗網(wǎng)絡的模型。該模型可以利用苗木的早期電信號快速有效地識別苗木的耐鹽期。生成性對抗網(wǎng)絡在圖像上也有很好的效果。文獻[6]提出一種使用生成對抗網(wǎng)絡生成人類胚胎細胞合成圖像的方法。文獻[7]使用生成對抗網(wǎng)絡對高光譜遙感圖像進行分類，并提出一種多鑒別器生成對抗網(wǎng)絡來研究鑒別器數(shù)目對分類結果的影響。

　　目前，應用最成熟的圖像風格轉換技術是商用產(chǎn)品Prisma，原理是通過深度神經(jīng)網(wǎng)絡學習某幅圖像的風格，然后將這種風格應用到其他圖像中。深度神經(jīng)網(wǎng)絡中應用最廣泛的技術是循環(huán)GAN(cydegan)。循環(huán)GAN相當于兩個傳統(tǒng)GAN。每個GAN發(fā)生器通過最小化損耗學習相應的變換函數(shù)。測量生成的數(shù)據(jù)和目標數(shù)據(jù)的差異，以計算發(fā)電機損耗，差值越大，生成器受到的懲罰將越高。雖然圖像樣式轉換技術在很多情況下都采用循環(huán)生成對抗網(wǎng)絡，但在生成的圖像中容易忽略一些細節(jié)，且存在噪聲等問題[4]。參照循環(huán)生成對抗網(wǎng)絡的結構，提出一種高質量的圖像樣式轉換網(wǎng)絡。首先，在生成網(wǎng)絡方面，將跳層結構與U網(wǎng)絡中的殘差網(wǎng)絡結合，可以增加網(wǎng)絡的多尺度不變性;其次，在判別網(wǎng)絡方面，多尺度擴展卷積判別器可以提高圖像樣式轉換的空間幾何變換效率，并能生成高分辨率的圖像。將目標域數(shù)據(jù)和源域數(shù)據(jù)的數(shù)據(jù)特征經(jīng)過兩次處理后視為一個雙代對抗網(wǎng)絡。

　　1相關理論

　　1.1生成對抗網(wǎng)絡

　　生成對抗網(wǎng)絡由生成網(wǎng)絡和判別網(wǎng)絡兩個子網(wǎng)絡組成。采用數(shù)學傳弈的思想。生成網(wǎng)絡用于生成處實的圖像，而判別網(wǎng)絡則試圖將生成的圖像與真實勝圖像區(qū)分開。各網(wǎng)絡不斷對抗和優(yōu)化，最終達到預期效果。

　　蟲成對抗柯絡雜結構如圖1所示。它由曳成網(wǎng)絡G和判別網(wǎng)絡￡>組成。將隨機變營^輸人生成網(wǎng)絡G，然后判別網(wǎng)絡fl判別輸人目標，并確定其基生成圖像3：是?圖像，生成網(wǎng)絡的結果是GU)生成網(wǎng)絡G使G⑴與真實圍像保持接近，直到判別網(wǎng)絡不能區(qū)分生成的內睿與_實內睿為止。此時，生成的網(wǎng)難和判別網(wǎng)絡之苘形成納什均衡。

　　在生成對抗網(wǎng)絡的訓練過程中，生成網(wǎng)絡和判別網(wǎng)絡不斷地進行迭代博弈，.最終對網(wǎng)絡進行優(yōu)化。從圖2可以看出，：代表輸人數(shù)據(jù)^生成網(wǎng)絡C金成的結果為CU)，然后判別網(wǎng)絡￡?識別G⑴和真實圖鐔J，真實圖像的概率表示為Z)，當訓練達到納什均衡時，D(Z)=1/2。

　　在網(wǎng)絡優(yōu)化過程中，首先是對判別網(wǎng)絡進行優(yōu)化，目的是吏好地區(qū)分生成的圖像和真實圖像，即使判別網(wǎng)絡更加敏感，即使5U)最大化;其次，對于生成的圖像，需要最小化判別網(wǎng)絡處理后的iKCU))。因此，第一步的目標定義為maxr(G，D)=Ex_P^Jx)[%(DC*))]+E^IZ)[k(l-D(G{z)))](1)在優(yōu)化生成網(wǎng)絡的過程中生成的圖像可以藎可能接近真實圖像，因此5(e(2))必須最大化，因此第二步的目標暈.immF(G，D)=Ez^t\s(l-D(D(z)))](2)難成對抗網(wǎng)絡的總體目梅是：mnipmsIObj(D，G)=Ex^pm4x)[lg(I)(2))]+A-P你[%(1-￡K只4))]I(3)

　　其中是真輿數(shù)據(jù)的概率分布，h：基生成數(shù)據(jù)的概率分布6GAN的訓練過程如圖2所示。它實際上是一個生成網(wǎng)絡和判別網(wǎng)絡相互對抗以實現(xiàn)最優(yōu)解的過程。在這個過程中，需粟對兩個網(wǎng)絡進行優(yōu)化，直到達到納什均衡。

　　1.2循環(huán)生成對抗網(wǎng)絡

　　衝壞生咸蹲抗網(wǎng)銀(GycltJ-Geraaatiw?antiparial：Netw?k，Gycte-GAN)是基于思想，在輝域和目標域之間沒有對應關系齒情況下進行學每，然后變換圖像樣式。循環(huán)GAN可以先從源域轉換到目標域，再從目標域轉換到源域，利用這種方法實現(xiàn)圖像配對》。與GAN模型不同的是t生成網(wǎng)絡和判別網(wǎng)絡在對抗中相互博弈，優(yōu)化模謹，使生成的圖像更接近，標圖像。猶環(huán)生：成對抗柯絡_結構如圖3所示。

　　在圖像樣式轉換中，利用循環(huán)一致性解決菌像轉換問題。在模型的判斷網(wǎng)絡部分，輸人原始圖像和生成的興像，判斷網(wǎng)絡對兩幅厲像進行判斷分同時，生成的圖像也會隨著目標圖像的不斷逼近，而不斷進行優(yōu)化迭代。基于CyrleGAN的圖像樣式轉換可以將一幅圖像轉換為另一幅圖像，但生成的圖像質量不翕。■屬此，提出一神基于頓環(huán)生，成對ft網(wǎng)絡生成高屬^像的_畫像。圖像樣式轉換方法s

　　2高質量圖像樣式轉換算法2，1建立網(wǎng)絡

　　循環(huán)GAN結構僅利用殘差網(wǎng)絡迸行單尺度學習，提高訓練性能，限制網(wǎng)絡的學習功能。在U-Net網(wǎng)絡中，，采用跳層結構和殘差網(wǎng)絡相結合的方法。增加網(wǎng)絡的多尺度不變性4U-Net網(wǎng)絡模型采用完全卷積網(wǎng)絡結構，增加一個跳躍層結構，它可以將解碼前的特征映射和解碼后的特征映射按信道進行組合，也可以與傳統(tǒng)編碼相結合，有不同的結構。傳統(tǒng)的編碼結構是先下采樣，冉上采#到原始分辨率DU-Net以不同酌分辨率保存僙息^與傳統(tǒng)的編解碼結構相比，U-Net融合了網(wǎng)絡的高羅和低層結構信息，模型的分割精虔大大.高。U-Pfet分割模型中沒有使用全連接層，弁且網(wǎng)絡模型的輸入與輸出都是虜像，通常在卷積神12網(wǎng)絡的淺層的特征圖中包含圖像很多的位置信息、紋理信息等，在網(wǎng)絡深層的卷積特征囷包含的是.分割的抽象特征有利于像素分類。具有對稱結構的U-Net分割模感很好的繼承全卷積神經(jīng)網(wǎng)絡模型的優(yōu)勢，網(wǎng)絡模型的輸人圖像大小沒有局釀性，并麗具有M義分割獏型的端對瑞特點19]。因此IT-Net可以生成更食質量的圖像，改進效果_嘗明顯圖4暈傳統(tǒng)：的編碼結構，圖5犛U-Efct結構。

　　目前.，神婪網(wǎng)絡的層次越來越深，模型越來趙復雜，訓練和優(yōu)化的難度越來越大。一般來說，深度模型越深，訓練效巣越好。但是，也會帶來很多問題，如訓練難度增加、模型梯度爆炸、梯度消失尋^在這些問題下，向網(wǎng)絡中掭加剩余塊可以防止這些問題的發(fā)產(chǎn).。剩佘塊是具有跳轉結構的網(wǎng)絡，如圖6所示。

　　從圖6可K看隹是殘_塊的第一層的輸入值。在第一層線性變化和激活函數(shù)rdu后，輸出F(*)，然后在線性變化而不是激活函數(shù)后，)將該層的輸入值*枏加，然后激活并輸出s添加*的路徑稱為快捷連接。殘差網(wǎng)絡是T-種跳轉結構，茍以將前“個網(wǎng)絡的信息跳到下^個網(wǎng)絡，然啟傳遞給下一個網(wǎng)絡。確實，后面的網(wǎng)絡可?學習前面的信息，這種結構可以保護細綠整性。在U-Net網(wǎng)絡和殘差網(wǎng)絡的基礎上，提出一種綜合兩者優(yōu)點的生.成結構網(wǎng)絡。與GAN標準的編解碼結構相比，這種生成網(wǎng)絡能夠保留更多的信息，生成的圖慘分鱗率更局。在U-Net網(wǎng)絡中，加人殘差塊，使網(wǎng)絡的信息容量更大，荸習能力更強，網(wǎng)絡可以在較低和較高的范圍內學習。改進的網(wǎng)絡結構如圖7所示。

　　2.2判別網(wǎng)絡構造

　　擴展卷積是it卷積核的數(shù)目保持不變，感受野的大小隨看擴展速率的增大而增大。擴張卷積圖如圖8所示。

　　展開卷積運箕仍然是很好的理解。圖8(0是：基本卷積核，而擴展卷積就是在這個基本卷積核上加一個區(qū)間5圖8(b)是圖S(a)3x3膨脹率為2的卷積，但間嗝為1，相當于7對應的圖像塊乘7。可以理解，內核大小B替變成7x7，但只;有9個點有參數(shù)，其佘位黧參數(shù)為〇，通過卷積計算輸入特怔?對應位：置的像素3跳過其條位置f圖8(c)和團：s(：b》相似，只是：tr張率為4，相當于變成15x15卷積核。當卷積核變大時，感受也自然會變大;RF^RF^+ik-^xs(4)其中，是上層的感.受野^是卷積核的大小，s是歩長S具有大感受野.的判別網(wǎng)絡具有較高的分辨率，能夠準確地區(qū)分輸人數(shù)琚是生成數(shù)據(jù)坯是冥實數(shù)塘。為提高分辨率，一種方法是使用較深的網(wǎng)絡，另一種方法魯.倭角較太的卷積核，但這兩種方法容易過擬合，占用較多的內存。為解決遂一狗題，采用不同的K度訓練多個鑒別器來判斷圖像?真實性a多尺度JI理圖如圖9所示。

　　提出的判別網(wǎng)絡在多尺度：上實現(xiàn)了擴張卷積，即在不同尺庋上便用不同的擴張系數(shù)來獲取更多的信息9這種網(wǎng)絡可以預測更大范圍的數(shù)據(jù)，生成高分辨率的固像，具有更好的效果。改進的鑒別器網(wǎng)絡錯構如圖10所示。轉文提出的：纖性_集生成實驗中，選取1800張圖片作為訓練集，200張圖片作為測試集，圖片大小為1024x768，設置了100個歷元，弁對圖像進行訓練^

　　3結果3.1實驗結果

　　圖11(?)是原始圖像，圖11(b)羞性別轉換后的圖像。從圍屮可以看出，使用本文設計的生成對抗網(wǎng)絡后生成的圖像具有明顯的性別轉換。

　　3.2實驗比較

　　為對提出的模灌方法進行評價，采用初始得分(?Jiephet初始距蘺(;FID)和AMT知覺研究XA獅-ztai-MeAiiniciil-m知覺研究)測試進彳才歲量評價。初始分數(shù)暴一f評價指標，它與生成圖片的質量和多樣性吏相關，但分數(shù)較_的圖片實扉上是銳利多樣的圖片，而不是生成圖片與真實圖片的關系。分數(shù)越高，生成畫像的細節(jié)越多，質量越好。FID值是生成數(shù)據(jù)和實際：數(shù)掘德更接'近分布。AMTperpeptiQij：鄉(xiāng)eawh是在Amaz加費務平臺上發(fā)布《辨別_片真實性;’任務，對輸出圖片的真實性進行評估。任務參與者將查看配對的真實圖片，然后單擊以選擇認為是真實圖片的圖片^最后，對大家進行總結。實驗結果表明，這基評價圖像焉實性的金科玉律4數(shù)據(jù)評價結果見表1。

　　3.3訓練過程

　　圖12是本文提出的生成對抗網(wǎng)絡在訓練過程中的發(fā)虛器和判別損失變化曲線。生成器和鑒別器.的目的是相反的，即兩個生成器網(wǎng)絡和鑒別器網(wǎng)絡最相對的，一個互相交互。可見鑒別器的損耗曲線在下降，發(fā)電機的損耗曲線在上升，兩人一直_博弈。

　　4結束語

　　參照循環(huán)生成對抗網(wǎng)絡的結構，設計一個貢質曇的圖像樣式轉換網(wǎng)絡。棊于U網(wǎng)的跳層結構和殘差分塊原理，發(fā)電網(wǎng)絡利用跳層和殘差網(wǎng)絡增加多R廣差。判別網(wǎng)絡采用多尺度展開卷稅，提高空間幾何變換和高分辨率圖像ft成效果9實驗緒杲裹煙，該算法在圖像風格轉換方兩有較理想的效果，并能保證圖像風格轉換的質量。