基于計算機視覺人行橋撓度影響線非接觸式識別

　　摘 要：該文將便攜式相機與無線傳感器結合，開發了一種人致撓度影響線非接觸式識別系統，避免了傳統識別方法需要長時間阻斷交通、耗費大量人力物力等不足，可用于運營狀態下的橋梁影響線識別。通過便攜式相機獲取橋上行人行為，引入遮擋模型改進 YOLO 算法識別橋上行人，跟蹤目標行人坐標變化得到行人位置信息，結合無線傳感器得到的行人荷載作為結構輸入數據。通過視覺識別技術跟蹤結構行為獲得人行荷載作用下的位移響應作為結構輸出數據。根據結構輸入輸出數據反算人行荷載作用下橋梁撓度影響線。對初始影響線進行高階濾波處理，消除環境和其他因素干擾，然后利用多項式分段擬合實測橋梁影響線進而得到具有準靜態特性的撓度影響線，可為結構工程師準確高效地提供橋梁損傷檢測依據。

　　朱前坤; 陳建邦; 張瓊; 杜永峰， 工程力學 發表時間：2021-08-02

　　關鍵詞：橋梁結構;撓度影響線;計算機視覺;人行荷載;多項式擬合

　　人行橋因其輕質高強及視覺效果優美等特點，常被建造于城市交通網絡和各大景區，保持人行橋的安全運行對避免人、車流相交沖突和維持正常交通具有重要意義。在日常使用和其他外部因素的影響下，橋梁結構不斷發生變化、退化和損傷，損傷識別是結構健康監測的重要組成部分 [1 − 2] 及核心技術。

　　為了全面、充分地評價結構性能，估計結構損傷狀態、結構安全性和預測結構剩余使用壽命，需要對結構的荷載輸入和響應輸出進行監測。基于影響線的損傷檢測方法一經發明便迅速發展[3 − 6]。周建庭等[7] 采用遞推迭代法實測橋梁影響線，通過多工況的靜載試驗，達到實際荷載檢測橋梁的目的。靜載試驗需要長時間中斷交通，測試成本高，且獲取的數據量有限，在實際應用中具有局限性。徐文濤等[8] 通過虛擬激勵法計算橋梁在行駛車輛和橋面不平度共同作用下的隨機響應，獲得了橋梁跨中撓度的動態影響線值。通過結構輸入輸出反算得到的影響線實質上是單位荷載下的動力響應，未充分體現影響線準靜態特性，故需對計算影響線進行處理[9]。Ieng[10] 提出了影 響 線 識 別 的 最 大 似 然 估 計 方 法 。 Sun 等 [11] 采用有限元模型修正實測橋梁影響線。Wang 等 [12] 采用分段多項式擬合實測橋梁影響線進而得到具有準靜態特性的影響線。上述研究使用傳統傳感器進行結構輸入輸出監測，使用傳統傳感器的缺點是封閉交通、安裝時間長和布線工作需要大量勞動力。

　　集成多學科的優勢，國內外學者研究了各種先進的傳感技術，如用于動態監測的無線傳感器[13] 和基于視覺識別技術的全橋梁監測[14] 等已被應用于當前的研究和實踐中。在這些技術中，基于視覺的方法越來越受到結構健康監測領域的關注。 Tian 等 [15] 在實驗室對簡支梁進行沖擊試驗，使用相機捕捉人體輸入得到人致沖擊力，使用加速度傳感器收集響應輸出，以此識別橋梁更多模態參數，并對人行天橋進行了沖擊試驗驗證，提取了頻率、振型和比例因子等模態參數。隨后 Tian 等 [16] 通過移動單個相機測量結構的多點位移直接獲得大型結構的結構屬性，提高橋梁結構的測試效率，并從移動沖擊測試數據中識別出更多的結構特性。上述文獻將研究重心集中在結構輸入輸出數據和結構動力特性上，通過相機和傳統傳感器相結合進行。Zaurin 和 Catbas[17―18] 將視覺識別技術和傳統傳感器 (如應變計) 結合起來，通過確定的額定荷載提取應變單位影響線，并統計數據異常值檢測識別損傷。Khuc 和 Catbas[19] 集成了計算機視覺和位移傳感器，以獲得位移單元影響面，并提出了一種檢測橋梁損傷的統計方法。上述研究提取了靜態結構特性作為損傷特征，并使用視覺識別技術進行結構輸入估計，使用傳統傳感器進行結構輸出監測，未能克服傳統傳感器的不足。

　　本文將便攜式相機與無線傳感器相結合，開發了一種完全非接觸式影響線識別系統，克服了使用傳統傳感器的不足。將便攜式相機獲得行人位置信息與無線傳感器測得的行人豎向加速度相結合作為結構輸入。將便攜式相機與視覺識別技術得到的結構位移響應作為結構輸出。根據結構輸入輸出數據反算人行荷載作用下橋梁撓度影響線。然后利用多項式分段擬合初始實測人行橋撓度影響線，進而得到具有準靜態特性的撓度影響線，可為結構工程師準確高效地提供橋梁損傷檢測依據。

　　1 撓度影響線數學模型

　　橋梁在正常使用過程中受溫度、濕度及風荷載等可變荷載引起的響應不會發生突變，因此相較于人群荷載，可以忽略短時間內溫度、濕度及風速等變化對人行橋變形的影響。為了計算方便，將橋上人群荷載簡化為對應人體質心處的豎向力，則橋梁受人行荷載引起的位移響應可視為一個豎向力引起的響應。單個行人隨順橋向位置變化所引起測量位置的位移響應可表示為[17]： d = wu (1) 式中：d 為包含由行人荷載在選定位置引起的響應向量;w 為包含與行人移動位移相關的荷載矩陣; u 為撓度影響線向量。式 (1) 可以改寫為： 式中：n 為行人沿橋移動步驟的離散系數數量; m 為位移響應的測量樣本數量; 為不同時刻單個行人的豎向人行荷載，可用式 (3) 計算[20 − 22]： w(t) = G +G ∑n i=1 αisin(2iπ fpt−φi ) (3) αi fp φi αi fp φi 式中：G 為人體重量; 為第 i 階 DLF; 為行人步頻; 為第 i 階相位角。其中 、 及 等參數可由試驗記錄的人體腰部加速度值在經過快速傅里葉變換后得到[23]。

　　撓度影響線可看作一個力學反問題，用式 (4) 計算： u = w −1 d (4) 即可通過已知的荷載輸入和響應輸出求解影響線。從試驗出發，基于行人荷載位置和人行荷載數據結合結構位移響應數據進行影響線識別。

　　2 撓度影響線視覺提取方法

　　本文通過對便攜式相機獲取的圖像進行行人檢測跟蹤，并估計出行人的位置，結合無線傳感器確定人行荷載組成結構輸入數據。將視覺測量的橋梁位移響應視為結構輸出數據，利用結構輸入輸出數據反算撓度影響線，流程圖如圖 1 所示。下面分別介紹了基于視覺的行人位置估計方法和基于視覺的結構位移測量方法。

　　2.1 基于計算機視覺的行人位置估計

　　2.1.1 一般步驟

　　采用視覺方法估計行人位置可分為 4 個步驟，如圖 2 所示。首先，對相機進行標定，校正由魚眼鏡頭引起的徑向畸變。然后利用添加遮擋模型改進的 YOLOv3 算法[24] 檢測行人并確定行人數目，給出被檢測行人的識別結果，并將其作為跟蹤目標。隨后通過視覺跟蹤算法來跟蹤檢測到的行人，將行人檢測框中心點視為行人位置，并估計視頻每一幀中的行人位置。最后，將圖像坐標系中的行人位置轉換到真實坐標系，實現對橋上行人位置的估計。

　　2.1.2 相機標定

　　一個點從世界坐標系轉換到像素坐標系的過程可以用式 (5) 表示[25]：

　　式 (5) 可以簡化為： sx = K[R|t]X (6) (x, y,1)T (X,Y,Z,1)T fx fy cx cy γ ri j ti 式中：s 為比例因子; 為圖像坐標;K 為表示從三維真實世界到二維圖像的投影變換的相機內部參數; 為世界坐標;在本征參數中， 和 為相機在水平方向和垂直方向上的焦距; 和 為光軸在水平和垂直方向上的偏移量;為傾斜因子;R 和 t 為相機的外部參數，表示從三維真實世界坐標到三維相機坐標的剛性旋轉和平移; 和 分別為 R 和 t 的元素。相機的內部參數與相機和鏡頭有關，只要焦距和鏡頭不變，內部參數就不會改變，其可在現場試驗前在實驗室確定，即使用相機在不同角度觀察平面校準對象。相機外部參數與相機鏡頭和被拍攝物體之間的相對位置有關，確定相機位置和方向需要結構的一些幾何信息 (至少 4 個共面點位置)。已知位置的點通常由附加的人工目標提供，例如平面棋盤目標等。可采用張正友棋盤法[26] 快速完成相機標定獲得相機外部參數。

　　2.1.3 行人檢測

　　YOLOv3 采用特征融合以及多尺度檢測的方法，使得目標的檢測精度和速度得到有效提升[24]，其可分為 4 個步驟。首先通過訓練好的模型將圖像劃分為若干個單元格，預測候選框及其相對位置、置信度以及所屬類別的后驗概率 P。然后映射變換預測的相對位置以及置信度，得到檢測框。隨后通過設定閾值 T，如果檢測框的置信度大于閾值 T，則保留該檢測框。最后對每個類別分別進行非極大值抑制處理，去除冗余窗口，輸出留下的檢測框的類別、位置、置信度。

　　在行人檢測中，行人與結構、行人之間很容易出現遮擋情況，從而影響了行人檢測系統的精度。行人周邊相互遮擋的目標會影響預測框的位置，從而導致最終的預測框偏離真實目標，被環境部分遮擋的行人也很容易造成漏檢情況的發生，最終導致行人檢測系統性能的下降。為了能夠準確預測在遮擋情況發生時預測框的位置，使用 CityPersons 訓練集[27] 中包含行人遮擋相互及被環境遮擋的 2975 張圖片作為整個試驗的訓練集，按照 7∶3 的比例，使用自建的 1275 張圖片作為整個試驗的測試集。加入遮擋行人的數據集可以有效地提升存在遮擋情況的行人檢測能力。圖 3 為改進的 YOLO 算法在復雜環境下的行人檢測結果。由圖 3 可知經過改進的模型能夠更容易檢測出相互遮擋和被環境遮擋的行人。

　　2.1.4 視覺跟蹤

　　一旦在視頻或圖像序列的第一幀中檢測到或選擇了行人，就需要視覺跟蹤來跟蹤行人在連續圖像中的位置。由于相機角度，即使相機靜止，行人視圖比例從開始到結束一直在變化。此外，由于行人之間以及行人與環境之間存在遮擋。所以視覺跟蹤算法必須滿足尺度不變性和視圖魯棒性的要求，并能在遮擋發生時預測目標位置。

　　本文使用卡爾曼濾波算法[28] 實現行人目標跟蹤，可以分為 6 個步驟，首先在 YOLOv3 檢測到行人目標后，檢查第一幀，獲取矩形框的中心位置等信息。然后定義狀態向量，根據前一幀的目標跟蹤結果，利用卡爾曼濾波算法預測目標在當前幀的位置，將檢測結果與預測結果進行最優相似度匹配。對于匹配成功的檢測目標，用當前幀的預測及檢測結果得到目標位置的最優估計值。最后顯示跟蹤結果并進行下一幀的預測。

　　2.1.5 坐標變換

　　對圖像中的行人位置 (像素坐標) 進行估計后，需要將其轉換為真實世界坐標。在本研究中，假設橋面是一個平面，因此問題是將行人從圖像平面轉換為橋面平面。如圖 4 所示，橋側相機圖像用于投影行人縱橋向位置，橋端相機圖像用于投影行人橫橋向位置。結合兩臺相機投影結果，真實世界對象 (橋梁和行人) 被投影到圖像平面。最后，將行人的位置從圖像坐標轉換為現實世界的坐標，即橋面位置。在本文中，由于規定試驗者以直線通過橋梁，則不需考慮橫橋向位移，僅需一臺相機即可確定人行所在橋面位置。

　　2.2 基于計算機視覺的結構位移測量

　　2.2.1 一般步驟

　　基于視覺的方法從結構振動視頻中測量位移一般分為 4 個步驟，如圖 5 所示。首先對相機進行標定，計算出圖像坐標系與真實坐標系間的幾何轉換關系。其次，從圖像中選取測量目標作為圖像子區域，提取子區域特征。第三，采用視覺跟蹤算法結合選定的圖像特征進行目標跟蹤，并在視頻每幀圖像中更新目標區域的位置。最后，通過比較每幀圖像中測量目標的位置變化，計算出圖像坐標系中的位移，并結合相機標定結果和圖像坐標系中的位移，得到實際坐標系中的最終位移。

　　2.2.2 視覺測量的相機標定實用方法

　　對于基于視覺的位移測量，相機標定與第 2.1.2 節中介紹的標定方法相同。但如果測量對象是無平面內運動或平面內運動可忽略的結構，即主要位移方向是為豎向，且使用的鏡頭是無畸變鏡頭時，可以采用一種更實用和簡化的標度比法。當光軸垂直于位移方向時，比例因子 s 表示為式 (7)[29]：

　　式中：D 為選定對象的實際物理尺寸，單位為 mm; d 為該對象在圖像中的像素尺寸，單位為像素。當目標運動平面與光軸之間存在角度時，比例因子必須通過以下來修正： s=D/(d · cosα) (8) 利用尺度比，可以很容易地將像素位移轉換為真實位移。

　　2.2.3 LK 光流法目標跟蹤

　　與行人跟蹤不同，基于視覺的位移測量的跟蹤目標更為簡單，且視圖比例變化不大。雖然位移測量目標的跟蹤比行人跟蹤要容易得多，但它需要更高的精度。一般來說，跟蹤結果應該是亞像素級的。LK 光流法[30] 運動目標跟蹤的步驟為：首先在圖像序列中利用 Shi-Tomasi 角點算法來檢測當前幀的所有角點，然后利用這些角點作為特征點，計算當前幀的光流。通過對前一步驟算出的光流矢量進行閾值化處理，選擇合理的閾值，除去超過閾值范圍的所有光流矢量。最后生成各角點運動軌跡，并記錄相應的位置坐標。圖 6 為 LK 光流法目標跟蹤結果，圓點為檢測到的角點位置，線條描述角點運動軌跡。

　　2.2.4 位移計算與轉換

　　檢測當前幀中的特征點，將目標特征點作為跟蹤點，其在圖像中的像素坐標為 (x1，y1 )。通過灰度對比當前幀和下一幀，估計目標特征點在下一幀中的位置 (x2，y2 )，比例因子為 s，則所選目標在豎直方向上的位移為 。

　　3 基于多項式分段擬合實測撓度影響線

　　影響線是結構在不同位置處受靜態荷載作用引起的響應。然而在實際工程中，結構健康監測系統采集到的影響線是由橋上移動荷載引起的結構響應，不能忽略橋梁振動信息及其受行人動載效應的影響。且與靜態荷載不同的是，行人本身是一個具有自適應能力的動力系統，結構發生振動或遇到障礙物時，行人會根據結構振動幅度大小以及障礙物形狀及位置調節自身的步頻、步長等來保持身體平衡，行人的本能調節過程會影響人行荷載的大小，進而影響結構響應。因此結合結構動力響應和行人參數的反演計算初始撓度影響線，對初始結果進行了多項式分段擬合，提取了具有準靜態特性的橋梁位移變影響線，消除了橋梁振動干擾，提高影響線測試精度。從數值分析和現場試驗的角度，驗證了本文多項式分段擬合方法的準確度。對于簡支梁，無損傷狀態下橋梁跨中截面測點撓度影響線表達式為[31]：

　　式中：EI 為橋梁抗彎剛度;Fp 為單位荷載;x 為荷載作用位置;L 為橋梁計算跨度。可以看出，對于理想簡支梁，撓度影響線由三次曲線分段函數表示。據此對實測試撓度影響線采用三次多項式進行擬合可得到更加準確的準靜態影響線。

　　4 試驗驗證

　　4.1 試驗步驟

　　試驗在單跨簡支人行橋模型上得到了驗證。該橋是中型實際結構的縮小模型，橋面總質量 1580 kg，橋面長 10 m、寬 1.6 m，計算跨度為 9.8 m。為避免測試者因不規范行走姿勢造成的不可靠數據，本試驗將兩個維特智能 BWT61CL 無線傳感器分別固定在每個測試者質心位置前后，取兩無線傳感器獲得的連續荷載時程平均值作為一次試驗數據。每位測試者被要求穿著硬質鞋底的運動鞋，在人行橋上以慢速 1.05 Hz、中速 1.6 Hz、快速 2.1 Hz 的固定步頻行走完成 3 次步行試驗。

　　為了跟蹤行人通過橋面的整個過程，在距橋跨中 4 m 處的三腳架上安裝了一臺帶有魚眼廣角鏡頭的大疆靈眸 Action 運動相機。相機可與智能手機連接，進行遠程非接觸控制，避免了由于接觸操控使得相機抖動而造成的誤差。設置視頻分辨率為 4K(3840 像素×2160 像素)，幀數為 50 fps。使用魚眼廣角鏡頭可為相機提供了一個大角度，以確保整個橋梁在相機拍攝視野中。如圖 7 所示，魚眼鏡頭拍攝的圖像存在嚴重的徑向畸變，且圖像中的直線橋變為曲線橋，故必須對相機進行校正。校正后圖像如圖 8 所示。

　　將一臺佳能 5D4 相機安裝在橋梁跨中 1.5 m 處的三腳架上，用于測量橋梁位移。選用加裝 24 mm~ 105 mm 變焦鏡頭的佳能相機，相機可通過佳能官方應用程序與智能手機連接，設置視頻分辨率為 1080P(1920 像素×1080 像素)，幀數為 50 fps。同時在橋下安裝一個激光位移計，以驗證視覺測量的準確性，激光位移計型號為 Banner 250U，采樣頻率為 200 Hz。試驗過程中，行人從橋的一側移動到另一側，相機和激光位移計同步記錄橋梁跨中位移。

　　現場試驗情況如圖 9 所示。在試驗開始時測試者發出“開始”的指令隨即開始行走并通過橋梁，在結束時發出“停止”指令隨即停止行走。在此過程中，兩臺相機在分別從始至終記錄行人、結構行為的同時記錄外界音頻信號。通過對比兩臺相機記錄的音頻信號中起止指令所在時刻截取視頻片斷并同步相機。

　　4.2 視覺測量精度檢驗

　　圖 10 為行人步頻為 2.15 Hz 時橋梁跨中處位移對比，其中實線、虛線分別為視覺測量法與激光位移計測得的橋梁跨中處位移。圖 10表明兩種方法獲得的位移結果非常一致。其歸一化互相關 (NCC) 為 99.95%。圖 11 為行人步頻為 2.15 Hz 時橋梁跨中處位移傅里葉幅值對比，其中視覺測量法前兩階 DLF 相較于激光位移計的誤差分別為 3.2%、3.3%。結合圖 10 和圖 11 可知，本文使用的視覺測量方法可準確測量橋梁位移。

　　4.3 試驗分析與結果

　　由于篇幅限制，取體重為 636 N 的測試者以 1.6 Hz 步頻通過人行橋的工況分析，通過無線傳感器測得行人豎向加速度時程，經傅里葉變換后通過式 (3) 計算人行荷載 (取前 4 階 DLF 及相位角)。圖 12 為重量為 636 N 的測試者在步頻為 1.6 Hz 時的豎向加速度時程曲線 (消除重力加速度 g)。圖 13 為對應的人行荷載時程曲線。圖 14 為通過目標跟蹤估計得到的行人位置信息，其中實線為初始行人位置，虛線為擬合后的行人位置。由圖 14 可知，初始行人位置存在明顯的倒退行走，顯然這與實際情況不符，行人是勻速通過橋梁的，故需對初始行人位置進行線性擬合，a 表示時間，b 表示行人位置。通過視覺測量得到的結構位移響應，如圖 15 所示。

　　通過無線傳感器得到的人行荷載時程，結合視覺測量方法得到的位移響應和跟蹤估計的行人位置信息，建立了實測撓度影響線，如圖 16 所示，實線表示實測撓度影響線，劃線表示采用多項式分段擬合得到的撓度影響線。由圖 16 可知，反算得到的實測撓度影響線包含橋梁振動信息，且隨著行人步頻變快越顯著;對實測影響線進行分段擬合后，擬合值與理論值接近，能較好地消除橋梁振動以及人行動載效應的影響，適用于行人步頻快、橋面平順性差的工況。圖 17 為橋梁撓度影響線擬合值與理論值對比。由圖 17 可知，兩影響線基本吻合，峰值位置存在誤差，這是由于計算人行荷載時假定步行過程是周期性的，而實際行人的步行過程接近于一個窄帶的隨機過程[32]，很難保證完美的周期性。并且計算撓度影響線理論值時假定橋梁兩端是簡支的，而實際橋梁并不完全簡支。撓度影響線理論值的峰值出現在橋梁計算跨度跨中 4.9 m 位置處，峰值為 4.137。撓度影響線擬合值的峰值出現在 4.48 m 位置處，較理論值誤差為 8.57%，峰值為 4.131，較理論值誤差為 0.15%。

　　5 結論

　　為了克服傳統的結構健康監測方法成本高、安裝時間過長、需要大量勞動力從事電纜布線工作等不便和缺點，建立了一個完全非接觸式影響線識別系統中。橋梁撓度影響線通過便攜式相機、計算機視覺和無線傳感器識別。通過一系列室內試驗對比研究，驗證了該方法的可行性。主要的研究方法、發現和結論如下：

　　(1) 提出了一種基于視覺的結構輸入 (行人位置) 估計方法。通過添加遮擋模型改進 YOLOv3 算法，在行人檢測過程中，即使在發生遮擋的情況下，也能成功地檢測跟蹤到行人。

　　(2) 為了擴大攝像機的視野，并在整個過程中跟蹤行人，采用廣角魚眼相機，對相機標定，校準徑向畸變，實現精確的行人位置估計。

　　(3) 利用 LK 光流法進行目標跟蹤測量位移測量，得到的位移響應與激光位移計的結果具有很高的一致性，NCC 系數為 99.95%。

　　(4) 將視覺跟蹤估計行人位置、視覺測量得到的位移響應相結合與無線傳感器得到的行人加速度時程相結合，成功地識別出了實測撓度影響線，并通過多項式分段擬合得到與理論值接近的擬合撓度影響線，影響線峰值誤差為 0.15%，峰值位置誤差為 8.57%。