基于多傳感融合的自主發(fā)育網(wǎng)絡(luò)場景識別方法

　　摘 要：現(xiàn)有的場景識別方法準確率低，適應(yīng)能力不強.為此，將自主發(fā)育神經(jīng)網(wǎng)絡(luò)應(yīng)用于機器人場景識別任務(wù)，提出了 2 種將自主發(fā)育網(wǎng)絡(luò)與多傳感器融合技術(shù)相結(jié)合的場景識別方法，即基于加權(quán)貝葉斯融合的機器人場景識別方法，以及基于同一自主發(fā)育網(wǎng)絡(luò)架構(gòu)數(shù)據(jù)融合的場景識別方法，分別在決策層以及數(shù)據(jù)層對多傳感器信息進行融合，提高了場景識別的準確度，而自主發(fā)育網(wǎng)絡(luò)則提升了識別方法針對各種復(fù)雜場景的適應(yīng)能力.對于所提出的場景識別方法進行了實驗測試與分析，證實了其有效性及實用性.此外，由于在同一網(wǎng)絡(luò)架構(gòu)下進行數(shù)據(jù)融合可更高效地利用數(shù)據(jù)，因此這種方法在場景識別的準確度方面具有更為優(yōu)越的性能.

　　本文源自余慧瑾;方勇純;韋知辛;， 機器人 發(fā)表時間：2021-04-26 09:29《機器人》是經(jīng)中華人民共和國新聞出版總署批準，由中國科學院主管，中國科學院沈陽自動化研究所、中國自動化學會共同主辦的科技類核心期刊，主要報道中國在機器人學及相關(guān)領(lǐng)域具有創(chuàng)新性的、高水平的、有重要意義的學術(shù)進展及研究成果，由中國科學出版社出版。

　　關(guān)鍵詞：自主發(fā)育神經(jīng)網(wǎng)絡(luò);多傳感器融合;場景識別

　　1 引言(Introduction)

　　多傳感器數(shù)據(jù)融合[1] 是一個新興的研究領(lǐng)域，是在一個系統(tǒng)中使用多種傳感器進行數(shù)據(jù)處理，將多個同質(zhì)或異質(zhì)傳感器獲得的互補信息或冗余信息進行有機結(jié)合，以得到滿意的檢測結(jié)果[2].Zhang 等[3] 針對 3 種基于稀疏表示的圖像融合方法進行了分析對比總結(jié).Wan 等[4] 通過融合自主駕駛汽車的 GNSS(全球?qū)Ш叫l(wèi)星系統(tǒng))、LiDAR(激光雷達)和 IMU(慣性測量單元)等傳感器，在不同的城市場景中實現(xiàn)了厘米級的定位精度.Rakotovao 等[5] 提出了一種只使用整數(shù)來表示概率的基于占用網(wǎng)格的多傳感器融合算法，以提升融合效率.Liang 等[6] 提出了一個多任務(wù)多傳感器檢測模型，通過融合 LiDAR 以及視覺傳感器，實現(xiàn)了 3D 物體的識別檢測.

　　場景識別是機器人在復(fù)雜動態(tài)環(huán)境下進行作業(yè)的基本要求，得到了機器人領(lǐng)域?qū)＜业膹V泛關(guān)注.要實現(xiàn)對場景的可靠識別，關(guān)鍵在于采用合適的傳感方式獲得區(qū)分度較高的場景信息.因此，近年來，國內(nèi)外許多學者將多傳感器融合方法應(yīng)用到場景識別及定位應(yīng)用中，并取得了一定的進展.例如，Liu 等 [7] 提出一種基于場景約束的室內(nèi)場景定位方法，通過融合手機攝像頭、WiFi 和慣性傳感器實現(xiàn)室內(nèi)場景識別.Zhu 等[8] 提出了一種新的鑒別特征融合框架，用于 RGB-D 場景識別.Bijelic 等[9] 提出了一種脫離建議級融合的深度多模態(tài)融合網(wǎng)絡(luò)，以解決在不利天氣場景中的目標檢測問題.值得指出的是，盡管這些方法得到了一定程度的應(yīng)用，但是它們通常需要利用先驗知識，當應(yīng)用于復(fù)雜動態(tài)環(huán)境時，場景識別的可靠性與魯棒性難以完全滿足要求.

　　隨著機器人技術(shù)的飛速發(fā)展，如何使機器人具有類人的認知能力，使其能夠在各種復(fù)雜場景中自主作業(yè)，逐漸成為機器人領(lǐng)域的研究熱點.其中，Weng 等[10-11] 首先提出了一種基于自主發(fā)育網(wǎng)絡(luò)的機器人認知方法，他們認為機器人可以模仿人類的學習方式，并通過記憶新知識不斷發(fā)育其智能體系.該思想得到了國內(nèi)外學者的認可，并嘗試將其推廣應(yīng)用于完成實際任務(wù).例如，王東署等[12] 提出利用自主發(fā)育網(wǎng)絡(luò)完成人臉朝向識別任務(wù)，Castro-Garcia 等[13] 訓(xùn)練自主發(fā)育網(wǎng)絡(luò)以識別英語和法語句子，而 Zheng 等[14] 將自主發(fā)育網(wǎng)絡(luò)用于室外導(dǎo)航任務(wù).近年來，錢夔等 [15] 嘗試應(yīng)用自主發(fā)育網(wǎng)絡(luò)來解決機器人的場景識別問題，在其啟發(fā)下，文 [16] 提出了一種基于改進型自主發(fā)育網(wǎng)絡(luò)的場景識別方法，這種方法通過負向?qū)W習、加強型學習等步驟實現(xiàn)對場景的快速識別，并使識別方法具有一定的適應(yīng)能力.遺憾的是，以上方法仍然處于起步階段，亟待進一步提升性能.

　　盡管自主發(fā)育網(wǎng)絡(luò)得到了機器人領(lǐng)域的極大關(guān)注，但目前對于自主發(fā)育網(wǎng)絡(luò)的研究僅局限于利用單一傳感器進行，由于單一傳感器在適應(yīng)性方面存在不足，當將其應(yīng)用于場景識別任務(wù)時，識別的準確率難以滿足實際要求.另一方面，針對配備多種傳感器的機器人系統(tǒng)，若應(yīng)用傳統(tǒng)的數(shù)據(jù)融合方法來處理場景識別任務(wù)又面臨可靠性低和適應(yīng)能力不強等問題.基于上述分析，本文為了提高識別的準確率和方法的適應(yīng)能力，將自主發(fā)育神經(jīng)網(wǎng)絡(luò)引入機器人場景識別任務(wù)，分別提出了基于加權(quán)貝葉斯融合的機器人場景識別方法，以及基于同一自主發(fā)育網(wǎng)絡(luò)架構(gòu)數(shù)據(jù)融合的場景識別方法，這 2 種方法分別在決策層和數(shù)據(jù)層對視覺傳感器與激光傳感器數(shù)據(jù)進行融合，通過自主發(fā)育神經(jīng)網(wǎng)絡(luò)實現(xiàn)了場景識別.實驗結(jié)果表明，這 2 種方法都可以較為可靠地識別出不同場景，而基于同一自主發(fā)育網(wǎng)絡(luò)架構(gòu)的場景識別方法準確率更高，并且在時間復(fù)雜度方面也可滿足機器人實時作業(yè)的要求，因此具有更好的實際應(yīng)用前景.

　　2 基于自主發(fā)育神經(jīng)網(wǎng)絡(luò)的多傳感器場景 識 別(Multi-sensor scene recognition based on autonomous developmental neural network)

　　2.1 場景識別問題描述與整體思路

　　當機器人在陌生環(huán)境下時，需要基于自身攜帶的傳感器來獲取環(huán)境中的關(guān)鍵信息，在此基礎(chǔ)上，快速準確地識別出所處的環(huán)境，這就是機器人的場景識別問題.考慮到單一傳感器在各方面性能的不足，本文將基于 2 種常見的傳感數(shù)據(jù)，即視覺信息和激光信息，以自主發(fā)育神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)，設(shè)計相應(yīng)方法對兩者信息進行融合來實現(xiàn)場景識別(如走廊、室內(nèi)、拐角等不同場景).

　　針對視覺傳感器采集到的 RGB 信息和激光測距傳感器得到的輪廓信息，擬分別在決策層和數(shù)據(jù)層進行信息融合，在此基礎(chǔ)上，分別提出基于加權(quán)貝葉斯融合的機器人場景識別方法和基于同一自主發(fā)育網(wǎng)絡(luò)架構(gòu)數(shù)據(jù)融合的場景識別方法，并最終進行實驗測試和對比分析.當然，以上方法并不僅僅限于視覺和激光數(shù)據(jù)，對于其他類型的傳感信息，可以采用同樣的方法進行融合來實現(xiàn)場景識別.

　　基于加權(quán)貝葉斯融合的機器人場景識別方法主要在決策層進行數(shù)據(jù)融合，具體思路如下：機器人通過自身裝載的 Kinect 攝像頭和激光測距傳感器分別獲取視覺 RGB 信息和激光輪廓信息;進而，利用自主發(fā)育神經(jīng)網(wǎng)絡(luò)對 RGB 信息和激光輪廓信息分別進行處理，獲得基于單一傳感器的場景識別結(jié)果.在此基礎(chǔ)上，將上述結(jié)果進行加權(quán)貝葉斯處理，并將融合后的結(jié)果作為最終的場景識別結(jié)果，以有效彌補單一傳感器適應(yīng)性不強等缺陷.

　　上述決策級融合在數(shù)據(jù)層面會損失一些信息，為了更好地提高機器人場景識別的準確率，考慮在數(shù)據(jù)層面進行融合，以最大程度利用不同傳感器獲取的輸入信息，從而提出了基于同一自主發(fā)育網(wǎng)絡(luò)架構(gòu)數(shù)據(jù)融合的場景識別方法，這種方法的主要思路如下：通過一個自主發(fā)育神經(jīng)網(wǎng)絡(luò)架構(gòu)同時學習 2 種傳感器的數(shù)據(jù)，在數(shù)據(jù)級的層面進行融合.為此，將來自視覺和激光傳感器的信息輸入到同一個自主發(fā)育網(wǎng)絡(luò)，網(wǎng)絡(luò)中的每個神經(jīng)元將同時處理這 2 種傳感器信息，而整個自主發(fā)育神經(jīng)網(wǎng)絡(luò)的輸出即為場景識別結(jié)果.

　　2.2 自主發(fā)育神經(jīng)網(wǎng)絡(luò)

　　本文提出的 2 種場景識別方法其核心均為自主發(fā)育神經(jīng)網(wǎng)絡(luò).本節(jié)將簡要描述這種網(wǎng)絡(luò).

　　自主發(fā)育網(wǎng)絡(luò)[15] 是一個三層全連接網(wǎng)絡(luò) {X, Y,Z}，神經(jīng)元主要有 3 種連接方式，分別為自底向上連接、自頂向下連接以及同層神經(jīng)元的橫向連接.X 層為感知輸入層，Y 層為決策處理層，Z 層為效應(yīng)輸出層.X 層與外界環(huán)境直接接觸，接收來自傳感器的信息.Y 層模擬人類大腦對外部輸入信息進行處理分析，并作為連接 X 層與 Z 層的橋梁將處理結(jié)果傳輸?shù)?Z 層.Z 層是各效應(yīng)器的集合，在指導(dǎo)學習階段將指導(dǎo)信息傳遞到 Y 層進行計算;在測試階段，輸出系統(tǒng)對實際環(huán)境做出的決斷.

　　自主發(fā)育神經(jīng)網(wǎng)絡(luò)每層神經(jīng)元的權(quán)重更新都采用了 LCA(lobe component analysis)算法[17].每個 Y 層的神經(jīng)元都有一對突觸權(quán)重 v = (vb,vt)，分別用來接收來自 X 層的自底向上(bottom up)信息 b 以及來自 Z 層的自頂向下(top down)信息 t.網(wǎng)絡(luò)針對輸入，對每個神經(jīng)元 n 計算其預(yù)響應(yīng)值 Rn [15]，具體公式如下：

　　從式 (1) 可以看出，預(yù)響應(yīng)值的 2 個部分實際上就是該神經(jīng)元的權(quán)重向量和輸入向量之間的夾角余弦值，即神經(jīng)元輸入信息與記憶信息之間的匹配程度的表征.

　　采用 top-k 競爭機制，激活預(yù)響應(yīng)值最大的前 k 個神經(jīng)元，并通過更新優(yōu)勝神經(jīng)元的突觸權(quán)重向量，對網(wǎng)絡(luò)進行訓(xùn)練發(fā)育，具體更新過程 [14] 如下式所示：

　　其中，R 向量中每個元素對應(yīng)網(wǎng)絡(luò)中不同神經(jīng)元的預(yù)響應(yīng)值.w1 (gj) 和 w2 (gj) 由遺忘平均算法(amnesic mean)獲取.gj 為被激活的優(yōu)勝神經(jīng)元年齡.通過不斷更新網(wǎng)絡(luò)神經(jīng)元間的突觸連接權(quán)重，完成網(wǎng)絡(luò)訓(xùn)練.

　　3 基于加權(quán)貝葉斯融合的機器人場景識別方法(Robot scene recognition method based on weighted Bayesian fusion)

　　考慮到單一傳感器的局限性，本文結(jié)合視覺傳感器及激光傳感器，對兩者采集到的數(shù)據(jù)進行融合，從而提升機器人場景識別作業(yè)的準確性.為此，本節(jié)提出一種基于加權(quán)貝葉斯融合的機器人場景識別方法，這種方法采用決策級融合方式，其具體結(jié)構(gòu)如圖 1 所示：對于每個傳感器 j = 1,2,··· ,m，首先各傳感器獲取相關(guān)數(shù)據(jù) Xj，系統(tǒng)基于各傳感器數(shù)據(jù)實現(xiàn)分布式?jīng)Q策 Zj，即利用各傳感器數(shù)據(jù)通過自主發(fā)育網(wǎng)絡(luò)(DN)分別進行場景識別，并將所有識別結(jié)果送到全局決策融合中心，在融合中心通過貝葉斯方法計算得到最終的識別結(jié)果.

　　具體來說，當移動機器人在未知環(huán)境下運動時，由其自身攜帶的視覺傳感器和激光傳感器同時采集環(huán)境信息，記錄機器人在每個時刻獲取的 RGB 圖像及激光輪廓數(shù)據(jù)，并將其分別作為輸入樣本輸入到各自對應(yīng)的自主發(fā)育神經(jīng)網(wǎng)絡(luò)，經(jīng)過計算進而得到場景識別結(jié)果。

　　對于激光輪廓數(shù)據(jù)來說，首先對其進行二值化處理，再將其轉(zhuǎn)換為環(huán)投影直方圖(ring-projection histogram)的形式.將圖像分割為若干等間距的同心圓，用每個同心圓中的累計像素值表示激光數(shù)據(jù)的二值化圖形輪廓圖即為環(huán)投影直方圖.環(huán)投影直方圖的橫軸對應(yīng)的是激光輪廓圖中半徑的大小，縱軸即為相應(yīng)同心圓與整個輪廓面積的比值.因此，環(huán)投影直方圖中的數(shù)據(jù)取值范圍為 0～1.由于環(huán)投影是沿著圓環(huán)進行的，因此具有旋轉(zhuǎn)不變性和收縮不變性，可以較好地容忍實驗中因機器人旋轉(zhuǎn)而引起的角度變化.激光數(shù)據(jù)處理流程如圖 2 所示.

　　加權(quán)貝葉斯融合方法的具體結(jié)構(gòu)如圖 3 所示：首先將圖像和激光數(shù)據(jù)分別輸入各自的自主發(fā)育神經(jīng)網(wǎng)絡(luò)，選取預(yù)響應(yīng)值最大的前 k 個神經(jīng)元激活并為其分配不同的加權(quán)因子：視覺傳感器對應(yīng)的網(wǎng)絡(luò)加權(quán)因子為 a1,a2,··· ,ak，激光傳感器對應(yīng)的網(wǎng)絡(luò)加權(quán)因子為 b1,b2,··· ,bk.將 k 個神經(jīng)元對應(yīng)的效應(yīng)器按不同權(quán)重根據(jù)對應(yīng)場景分別進行累加，得到單傳感器的決策結(jié)果 Zp 和 Zl.在此基礎(chǔ)上，通過貝葉斯公式對由單傳感器得到的識別結(jié)果進行加權(quán)融合，將得到的最大值對應(yīng)的場景作為最終的識別結(jié)果.

　　3.1 預(yù)響應(yīng)值的加權(quán)處理

　　由前文可知，自主發(fā)育神經(jīng)網(wǎng)絡(luò)算法會根據(jù)系統(tǒng)輸入信息計算預(yù)響應(yīng)向量，選取預(yù)響應(yīng)值最大的神經(jīng)元作為優(yōu)勝神經(jīng)元.激活優(yōu)勝神經(jīng)元，并根據(jù)它 Z 層自底向上的突觸權(quán)重向量確定與其最大值對應(yīng)的識別結(jié)果.

　　為了進一步提高識別結(jié)果的可靠性，考慮預(yù)響應(yīng)值較大的前 k 個神經(jīng)元.設(shè)這 k 個神經(jīng)元經(jīng)過預(yù)響應(yīng)向量計算后得到的值為 r1,r2,··· ,rk，對應(yīng)每個神經(jīng)元的加權(quán)因子為 w1,w2,··· ,wk.將不同神經(jīng)元的預(yù)響應(yīng)值進行加權(quán)比例分配，并根據(jù)對應(yīng)場景進行累加，融合后會得到一個 n × 1 的效應(yīng)器突觸權(quán)重向量 P，其中向量 P 的每個元素對應(yīng)一種場景類別.具體計算公式如下：

　　其中，V zb i 代表第 i 個神經(jīng)元對應(yīng)的 Z 層自底向上突觸權(quán)重向量.權(quán)重W 的各元素應(yīng)滿足以下約束：

　　將視覺傳感器和激光傳感器獲取的信息分別輸入對應(yīng)的自主發(fā)育神經(jīng)網(wǎng)絡(luò)，經(jīng)過上述處理就可以得到對應(yīng)的識別結(jié)果 Pp = (pi j)n×1 和 Pl = (li j)n×1.

　　3.2 決策結(jié)果的貝葉斯融合

　　為了消除利用單個傳感器進行數(shù)據(jù)獲取以及分析識別的局限性，將多個傳感器識別結(jié)果進行融合，以進一步提高場景識別的準確率.因此，針對計算獲得的 Pp 和 Pl，采用貝葉斯估計算法進行融合.

　　使用 P(A|ZA) 表示移動機器人當前所處位置屬于 A 場景，且系統(tǒng)的場景識別結(jié)果 ZA 對應(yīng)的也是 A 場景.同理，P(A|ZB) 即為移動機器人處于 A 場景但是系統(tǒng)識別出機器人所處場景為 B.以此類推.

　　基于加權(quán)貝葉斯的多傳感器融合方法涉及到視覺傳感器以及激光傳感器二者的融合，因此以 P(A|ZA) 為例，其應(yīng)為 2 個傳感器數(shù)據(jù)識別結(jié)果的乘積，故具體計算公式如下：

　　其中，Pp(A|ZA) 對應(yīng)于 Pp 第 1 個元素的值，Pp(A|ZB) 對應(yīng)于 Pp 第 2 個元素的值，其余同理.

　　實驗主要用于區(qū)分室內(nèi)、走廊、拐角 3 類場景，用 A、B、C 分別代表 3 類場景.關(guān)于每個場景識別正確的可靠度，可利用式 (6) 進行計算(這里僅以室內(nèi)場景舉例進行說明，其他場景類似)：

　　其中 ZA、ZB、ZC 分別代表系統(tǒng)測試識別結(jié)果為室內(nèi)、走廊、拐角場景事件，A 代表測試樣本對應(yīng)的真實類別為室內(nèi)場景.默認情況下，公式中的 P(ZA) = P(ZB) = P(ZC) = 1/3.但考慮到移動機器人的實際作業(yè)情況，通過綜合分析前后多幀樣本圖像來識別場景類別，以處理各類偶然性因素的影響，提高識別結(jié)果的穩(wěn)定可靠性.因此，根據(jù)前一時刻的場景識別結(jié)果，適當增加當前時刻公式中對應(yīng)場景概率的值.

　　通過計算分別得到 P(A|ZA)、P(A|ZB)、P(A|ZC) 以及 P(A|ZD)，其中 D 作為背景場景，代表沒有進行過學習記憶的初生神經(jīng)元對應(yīng)場景.選取四者中的最大值對應(yīng)的場景類別即為該測試樣本的識別結(jié)果.

　　4 基 于 同 一 自 主 發(fā) 育 網(wǎng) 絡(luò) 架 構(gòu) 數(shù) 據(jù) 融合的場景識別方法(Scene recognition method based on data fusion of the same autonomous developmental network architecture)

　　上文提到的方法是基于決策進行融合，這樣做的好處是可以并行計算，在一定程度上節(jié)省時間;但是，這種處理方式會損失部分數(shù)據(jù)信息，從而影響場景識別的準確度.為了更充分地利用數(shù)據(jù)，提出了基于同一自主發(fā)育網(wǎng)絡(luò)架構(gòu)的多傳感器融合方法，其具體結(jié)構(gòu)示意圖如圖 4 所示：該網(wǎng)絡(luò)架構(gòu)的 X 層將同時接收并處理視覺傳感器采集的 RGB 圖像數(shù)據(jù)以及激光測距傳感器采集的激光輪廓信息.通過自主發(fā)育神經(jīng)網(wǎng)絡(luò)算法針對 X 層的輸入信息進行計算，得到該系統(tǒng)最終的場景識別結(jié)果.

　　4.1 預(yù)響應(yīng)值的計算

　　進行多傳感融合的自主發(fā)育神經(jīng)網(wǎng)絡(luò) X 層接收到的信息主要分為 2 個部分：一部分為視覺傳感器采集到的 RGB 圖像信息，經(jīng)過預(yù)處理成為固定大小的圖像，以 2 維矩陣 Xp 描述，其元素采用取值為 0～1 的像素值進行表征;另一部分為激光傳感器采集得到的激光輪廓信息，用環(huán)投影方法進行預(yù)處理后用直方圖 Xl 表示.

　　對于多傳感器數(shù)據(jù)融合網(wǎng)絡(luò)架構(gòu)來說，每個 Y 層神經(jīng)元預(yù)響應(yīng)值的計算主要分為 2 個部分：來自 X 層的響應(yīng)以及來自 Z 層的響應(yīng).來自 X 層的響應(yīng)部分又分為來自圖像信息以及來自激光數(shù)據(jù)信息 2 個部分，具體計算方法如下：

　　其中，Ry x 表示 Y 層神經(jīng)元預(yù)響應(yīng)向量計算過程中來自 X 層輸入部分的影響;V b p 表示 Y 層神經(jīng)元的自底向上權(quán)重向量，用于學習視覺傳感器采集的圖像信息部分;V b l 表示 Y 層神經(jīng)元的自底向上權(quán)重向量，用于學習激光傳感器采集的輪廓信息部分.式 (7) 中，權(quán)重因子 α(0 6 α 6 1)為輸入到網(wǎng)絡(luò)中的視覺和激光信息各自占據(jù)的比重大小，也就是神經(jīng)元記憶的偏重點.通常情況下，可以選擇 α = 0.5，即認為對于機器人所處的某一點來說，該點的視覺信息和激光信息對于 Y 層神經(jīng)元預(yù)響應(yīng)向量計算的影響力度相同.由于各類傳感器有其不同的特點和適應(yīng)能力，因此，在實際應(yīng)用中，需要綜合考慮場景和傳感器的特點來選擇合適的權(quán)重因子 α.

　　Y 層神經(jīng)元利用其自頂向下突觸權(quán)重部分去學習 Z 層的輸入信息，其預(yù)響應(yīng)值中的 Z 層響應(yīng)部分 Ry z 的計算公式如下：

　　其中，V t 表示 Y 層神經(jīng)元的自頂向下突觸權(quán)重向量，z 表示來自人為指導(dǎo)的輸入向量.

　　因此，Y 層每個神經(jīng)元的預(yù)響應(yīng)值計算公式如下：

　　其中，權(quán)重因子 β(0 6 β 6 1)即為相對于自底向上突觸權(quán)重向量而言的自頂向下突觸權(quán)重向量最大權(quán)重比例系數(shù).當 β = 0.5 時，說明對于該神經(jīng)元來說，自底向上突觸權(quán)重向量和自頂向下突觸權(quán)重向量的影響力度相同，即來自 X 層的外部信息輸入與來自 Z 層的學習指導(dǎo)輸入對于該神經(jīng)元的預(yù)響應(yīng)值計算的影響力度相同.

　　4.2 神經(jīng)元突觸權(quán)重的更新

　　Y 層優(yōu)勝神經(jīng)元的突觸權(quán)重更新，采用基于視覺神經(jīng)的赫布學習(Hebbian learning)算法 [18].

　　針對自主發(fā)育神經(jīng)網(wǎng)絡(luò)來說，來自外界環(huán)境的信息輸入不僅有視覺傳感器采集到的 RGB 圖像信息，還有激光測距傳感器采集到的激光輪廓信息.因此，網(wǎng)絡(luò)中 Y 層用來學習 X 層輸入信息的自底向上權(quán)重也分為了 2 個部分：用來學習圖像信息的 V b p 和用來學習輪廓信息的 V b l.故而，在更新優(yōu)勝神經(jīng)元的突觸權(quán)重時，也需要對兩部分分別進行處理.這樣才能讓網(wǎng)絡(luò)同時學習移動機器人在當前位置由 2 種不同傳感器獲取的數(shù)據(jù)信息.修改后的自底向上權(quán)重具體更新公式如下：

　　更新公式中的 w1 (gj) 和 w2 (gj) 控制著神經(jīng)元的學習速率，兩者之和恒等于 1，其相對比例 w2 (gj)/w1 (gj) 反映了神經(jīng)元對于新知識的學習程度，比例越大，則對新知識的學習程度越大。

　　同一自主發(fā)育網(wǎng)絡(luò)架構(gòu)算法的流程圖如圖 5 所示.先利用訓(xùn)練樣本結(jié)合人工的指導(dǎo)學習輸入對網(wǎng)絡(luò)突觸權(quán)重不斷進行更新優(yōu)化，網(wǎng)絡(luò)訓(xùn)練過程結(jié)束后，利用訓(xùn)練好的網(wǎng)絡(luò)進行場景識別，驗證系統(tǒng)對測試樣本的識別準確率.

　　5 實驗結(jié)果與分析(Experimental results and analysis)將本文提出的 2 種基于多傳感融合的自主發(fā)育網(wǎng)絡(luò)場景識別方法分別應(yīng)用于移動機器人系統(tǒng)，使其完成場景識別任務(wù).為了驗證這 2 種方法的可行性，實驗選取了室內(nèi)、拐角、走廊 3 類場景類別進行識別.部分場景圖像如圖 6 所示.

　　實驗采用 Pioneer 3-DX 移動機器人，裝配了 360? 激光測距傳感器以及 Kinect 2.0 視覺傳感器，實驗所用機器人實物圖如圖 7 所示.實驗數(shù)據(jù)包括分辨率為 0.1 ? 的 360? 激光輪廓數(shù)據(jù)以及分辨率為 200×150 的 RGB 圖像數(shù)據(jù).

　　針對移動機器人在不同位置獲取的不同信息，采集了 60 組視覺傳感器以及激光傳感器獲取的數(shù)據(jù)信息用于自主發(fā)育神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，其中每種場景包含 20 組數(shù)據(jù).系統(tǒng)測試時采用 90 組數(shù)據(jù)進行移動機器人所處場景的識別判斷，每個場景包含 30 組數(shù)據(jù)，其中 15 組為訓(xùn)練時采用的樣本數(shù)據(jù)，其余 15 組為機器人事先沒有到達過的位置數(shù)據(jù)信息.利用上述采集到的數(shù)據(jù)對 4 種基于自主發(fā)育神經(jīng)網(wǎng)絡(luò)算法的場景識別系統(tǒng)進行識別準確率的測試，4 種系統(tǒng)分別是：單獨利用視覺傳感器進行場景識別的自主發(fā)育神經(jīng)網(wǎng)絡(luò)系統(tǒng)、單獨利用激光輪廓數(shù)據(jù)進行場景識別的系統(tǒng)、利用加權(quán)貝葉斯算法進行視覺及激光傳感器數(shù)據(jù)融合的場景識別系統(tǒng)以及利用同一自主發(fā)育網(wǎng)絡(luò)架構(gòu)進行數(shù)據(jù)融合的場景識別系統(tǒng).分場景的識別結(jié)果準確率如表 1 所示.

　　由表 1 實驗結(jié)果可以看出，利用多傳感器數(shù)據(jù)融合算法進行輸入信息分析進而進行場景識別，相比使用單一傳感器進行識別，每個場景的識別準確率均得到了一定的提高;此外，對比本文提出的 2 種識別方法，基于同一自主發(fā)育網(wǎng)絡(luò)架構(gòu)數(shù)據(jù)融合的場景識別方法得到的結(jié)果更為準確可靠.

　　針對本文所提的 2 種多傳感器融合方法，采用更多的測試樣本進行場景識別判斷，其中包括機器人運動過程中連續(xù)采集的數(shù)據(jù)以及定點獲取的數(shù)據(jù).進行測試的樣本數(shù)量共 760 組，其中包括訓(xùn)練使用的 45 組數(shù)據(jù)，其余測試樣本均為新采集的，機器人事先沒有訓(xùn)練學習過的數(shù)據(jù).全場景的識別準確率如表 2 所示.

　　由表 2 數(shù)據(jù)可以看出，基于同一網(wǎng)絡(luò)架構(gòu)數(shù)據(jù)融合的場景識別方法相比加權(quán)貝葉斯融合方法的識別效果更好，主要原因在于對于自主發(fā)育神經(jīng)網(wǎng)絡(luò)的神經(jīng)元來說，每個神經(jīng)元均同時學習并記憶了來自同一位置的 2 種傳感器信息，對輸入數(shù)據(jù)信息的利用率更高，故而學習效果比單獨學習后進行決策融合的效果更好.

　　此外，對于融合而言，實時性問題非常重要.針對本文方法的時間復(fù)雜度進行分析如下：自主發(fā)育神經(jīng)網(wǎng)絡(luò)的測試過程中，時間開銷的重點在于 Y 層神經(jīng)元的預(yù)響應(yīng)向量的計算.因此利用視覺傳感器進行場景識別的算法測試時的時間復(fù)雜度為 O(Np)，這里的 Np 為視覺處理時網(wǎng)絡(luò) Y 層神經(jīng)元的個數(shù).對于利用激光傳感器進行場景識別的算法而言，還要多一步對于激光數(shù)據(jù)的環(huán)投影處理，將激光數(shù)據(jù)轉(zhuǎn)化為環(huán)投影直方圖的形式.因此，測試時的時間復(fù)雜度為 O(L + Nl)，這里的 L 為環(huán)投影處理時間，Nl 為激光處理時網(wǎng)絡(luò) Y 層神經(jīng)元的個數(shù).同理，加權(quán)貝葉斯融合算法的時間復(fù)雜度應(yīng)為 O(Np +L+Nl)，同一自主發(fā)育網(wǎng)絡(luò)架構(gòu)融合的時間復(fù)雜度應(yīng)為 O(L+Nmix)，Nmix 為同一自主發(fā)育網(wǎng)絡(luò)架構(gòu)的網(wǎng)絡(luò) Y 層神經(jīng)元個數(shù).不同場景識別方法的時間復(fù)雜度如表 3 所示.

　　針對不同多傳感器融合方法，分別利用訓(xùn)練樣本以及非訓(xùn)練樣本進行測試，并對其識別處理時間進行比較，得到的結(jié)果如表 4 所示.

　　由表 4 可以看出，使用視覺傳感器和激光傳感器進行數(shù)據(jù)融合進而執(zhí)行場景識別任務(wù)，在針對單個樣本進行識別處理的時間復(fù)雜度上來說，相比原來僅使用單一傳感器進行識別并沒有明顯的增加. 2 種多傳感器融合算法在測試階段針對每個樣本的識別處理時間平均在 0.16 s 左右，完全可以滿足移動機器人場景識別任務(wù)的實時性要求.且由表 4 中數(shù)據(jù)可以看出，在采用訓(xùn)練樣本進行場景識別時，所需時間略少于采用非訓(xùn)練樣本時.這也在一定程度上說明對于自主發(fā)育網(wǎng)絡(luò)算法來說，原有經(jīng)驗對當前判斷仍有幫助.

　　為了進一步驗證系統(tǒng)識別的實時性，選取了一段包括 3 個場景的區(qū)域進行實驗，將基于同一網(wǎng)絡(luò)架構(gòu)數(shù)據(jù)融合的場景識別方法下發(fā)到移動機器人上.考慮移動機器人的運行速度，設(shè)定每 2 s 抓取一次數(shù)據(jù)進行場景識別，實時識別結(jié)果如圖 8 所示.黑色實線為利用基于同一網(wǎng)絡(luò)架構(gòu)數(shù)據(jù)融合的場景識別方法得到的識別結(jié)果，紅色虛線為機器人所處真實場景類別.實驗結(jié)果顯示，融合算法基本可以滿足移動機器人實時場景作業(yè)要求.

　　通過實驗驗證，證明了本文提出的 2 種識別方法的有效性及可行性，通過將多傳感器融合和自主發(fā)育網(wǎng)絡(luò)相結(jié)合進一步提高了移動機器人場景識別的準確率.此外，由于基于同一自主發(fā)育神經(jīng)網(wǎng)絡(luò)架構(gòu)的融合方法同時學習了視覺傳感器以及激光傳感器獲取的數(shù)據(jù)信息，對于原始輸入數(shù)據(jù)的利用更加充分，其識別的準確率相比基于決策的加權(quán)貝葉斯識別方法更高，但在時間消耗方面略高.

　　6 總結(jié)與展望(Summary and prospect)

　　本文將自主發(fā)育神經(jīng)網(wǎng)絡(luò)引入機器人場景識別任務(wù)中，利用視覺傳感器和激光傳感器共同獲取移動機器人所處位置的周圍信息，結(jié)合多傳感器數(shù)據(jù)融合算法，在決策層和數(shù)據(jù)層分別對來自 2 個傳感器的數(shù)據(jù)信息進行融合處理，最終將其成功應(yīng)用于移動機器人場景識別任務(wù)中.

　　實驗結(jié)果表明，本文提出的基于自主發(fā)育神經(jīng)網(wǎng)絡(luò)的多傳感器融合算法，在移動機器人場景識別任務(wù)中，識別準確率均明顯高于使用單一傳感器進行場景識別的算法，同時在時間復(fù)雜度上并沒有明顯提高;此外，基于同一自主發(fā)育神經(jīng)網(wǎng)絡(luò)架構(gòu)的多傳感器融合算法的識別效果更好，在處理耗時方面也滿足機器人實時作業(yè)要求，因此具有更好的實際應(yīng)用前景.

　　未來的研究工作主要是完善基于自主發(fā)育神經(jīng)網(wǎng)絡(luò)的多傳感器數(shù)據(jù)融合算法，在此基礎(chǔ)上進一步提高系統(tǒng)的識別準確率.