樹人論文刊發(fā)BP神經(jīng)網(wǎng)絡(luò)算法

　　摘要：BP算法是非循環(huán)多級網(wǎng)絡(luò)的訓(xùn)練算法，對人工神經(jīng)網(wǎng)絡(luò)的發(fā)展起到了重大的推動作用，該文介紹了BP算法的基本原理及其缺陷，并提出了改進(jìn)BP算法的方法。

　　關(guān)鍵詞：BP算法;人工神經(jīng)網(wǎng)絡(luò);改進(jìn)的BP算法

　　1 概述

　　人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Networks，ANN)，是基于人類大腦的生物活動所提出的，是一個數(shù)學(xué)模型。它由眾多節(jié)點通過一定的方式互聯(lián)組成，是一個規(guī)模巨大、自適應(yīng)的系統(tǒng)。其中有一種學(xué)習(xí)算法是誤差傳遞學(xué)習(xí)算法即BP算法。BP算法是人工智能最常用到的學(xué)習(xí)方法，從一定意義上來講，BP算法的提出，終結(jié)了多層網(wǎng)絡(luò)在學(xué)習(xí)訓(xùn)練算法上的空白史，是在實際應(yīng)用中最有效的網(wǎng)絡(luò)訓(xùn)練方法，對ANN的應(yīng)用和發(fā)展起到了決定性的作用。

　　BP算法是使用從輸出層得到的誤差來估算前一層的誤差，再利用該誤差估算更前一層的誤差。依次進(jìn)行，就會獲得其他所有各層的估算誤差。這樣就實現(xiàn)了將從輸出層的得到誤差沿著與輸入信號傳送相反的方向逐級向網(wǎng)絡(luò)的輸入端傳遞的過程[1]。但是，BP算法也存在著不可忽視的缺陷。基于此，該文總結(jié)介紹了BP的改進(jìn)方法。

　　2 BP算法的基本思想

　　2.1 BP算法的基本原理

　　BP算法是有監(jiān)督指導(dǎo)的算法，它的學(xué)習(xí)訓(xùn)練過程一般分為兩步：首先是輸入樣本的正向傳遞;第二步誤差的反向傳遞;其中信號正向傳遞，基本思想是樣本值從輸入層輸入，經(jīng)輸入層傳入隱藏層，最后通過輸出層輸出，中間層對樣本數(shù)據(jù)進(jìn)行處理操作，利用各層的權(quán)值和激活函數(shù)對數(shù)據(jù)進(jìn)行操作然后在輸出層獲得輸出[2];接下來就是反向傳遞，算法得到的實際輸出值與期望目標(biāo)輸出之間必然會有誤差，根據(jù)誤差的大小來決定下一步的工作。如果誤差值較小滿足訓(xùn)練的精度要求，則認(rèn)為在輸出層得到的值滿足要求，停止訓(xùn)練;反之，則將該誤差傳遞給隱藏層進(jìn)行訓(xùn)練，按照梯度下降的方式，對權(quán)值和閾值進(jìn)行調(diào)整，接著進(jìn)行循環(huán)，直到誤差值滿足精度要求停止訓(xùn)練[3]。

　　3 BP算法的缺陷

　　盡管BP算法有著顯著的優(yōu)點，但是在實際應(yīng)用過程中，BP算法會出現(xiàn)很多問題。尤其是下面的問題，對BP神經(jīng)網(wǎng)絡(luò)更好的發(fā)展有很大影響。有的甚至?xí)?dǎo)致算法崩潰。

　　3.1 收斂速度的問題

　　BP算法在進(jìn)行訓(xùn)練學(xué)習(xí)時，收斂速度慢，特別是在網(wǎng)絡(luò)訓(xùn)練達(dá)到一定的精度時，BP算法就會出現(xiàn)一個長時間的誤差“平原”，算法的收斂速度會下降到極慢[4]。如果盲目的加快收斂速度，則會使算法產(chǎn)生震蕩現(xiàn)象。

　　3.2 局部極小點問題

　　在一些初始權(quán)值的條件下，BP算法在訓(xùn)練過程中會陷入局部極值。這是由于BP網(wǎng)絡(luò)采用最速下降法，誤差曲面非常復(fù)雜且分布著許多局部極值點，一旦陷入，BP算法就很難逃脫，進(jìn)而會使BP網(wǎng)絡(luò)的訓(xùn)練停止。算法可以在某處得到一個收斂值，但是并不能確定取到了誤差曲面的最小值。這樣就會使網(wǎng)絡(luò)難以達(dá)到事先規(guī)定的誤差精度[5]。

　　3.3 網(wǎng)絡(luò)癱瘓問題

　　在算法的學(xué)習(xí)訓(xùn)練過程中，網(wǎng)絡(luò)的權(quán)值會變得很大，從而使得節(jié)點的輸入變大，這就會導(dǎo)致其激活函數(shù)的導(dǎo)函數(shù)在改點取得的值很小，接著會導(dǎo)致算法的訓(xùn)練速度變得極低，最終會導(dǎo)致BP網(wǎng)絡(luò)停止收斂，網(wǎng)絡(luò)癱瘓。

　　3.4 步長問題

　　BP的收斂是建立在無窮小權(quán)修改量的基礎(chǔ)上，而這就意味著網(wǎng)絡(luò)所需要的訓(xùn)練時間是無窮的，這顯然是不可取的。因此，要限定權(quán)值修改量的值。這主要是因為，如果步長太小，那么網(wǎng)絡(luò)的收斂速度就會下降，如果步長太大，就會使BP神經(jīng)網(wǎng)絡(luò)產(chǎn)生癱瘓和振蕩。學(xué)者們經(jīng)過研究提出一個較好的方法，就是用自適應(yīng)的步長代替原來的定值步長，以使權(quán)值修改量隨著BP網(wǎng)絡(luò)的訓(xùn)練而不斷變化[6]。

　　小編推薦同類優(yōu)秀的電子類期刊　　《系統(tǒng)管理學(xué)報》期刊論文

　　《系統(tǒng)管理學(xué)報》雜志1994年起被列為“中國科技論文統(tǒng)計與分析”刊源，是管理科學(xué)重要期刊。系統(tǒng)科學(xué)、系統(tǒng)工程與管理科學(xué)等學(xué)科在理論上，方法上的最新研究成果，以及實際案例分析。